本发明提供了一种联合共线仿射不变性和尺度旋转投票的影像匹配方法，包括：利用特征提取算法建立待处理影像对的初始匹配点；对任一初始匹配点，基于4邻域划分的邻域点采样，并利用共线仿射不变性几何约束进行粗差剔除，得到粗差剔除后的匹配点；利用尺度旋转投票进行匹配优化与扩展，得到优化扩展后的匹配点；利用全局几何约束进行匹配优化，得到优化后的匹配结果。本发明提出的基于4邻域划分的采样点选择方案，能够很好地解决传统K最近邻导致的局部连接关系不稳定的弊端，能够自适应初始匹配点数量。本发明提出的基于共线仿射不变性几何约束模型，具有很高的抗噪声能力，并且计算复杂度低，能够很好地满足高效率匹配需求。