本发明公开一种基于模板匹配与特征聚类的视差图像拼接方法及系统。方法包括：获取源图像和目标图像；采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；对筛选的正确的特征点对集进行聚类分割，得到局部单应阵模型；根据所述局部单应阵模型进行图像配准和拼接。采用本发明的方法或系统能够快速定位图像重叠区域，以降低外点干扰和计算代价，且确保视差图像中能够提取到足够的匹配点对信息，实现图像的局部精确对齐与视差处理。最终将方法整合于对应的系统之中，使其得以准确地运行实施。