本发明公开了一种基于图像处理的建筑物表面裂缝检测方法及系统，在图像预处理阶段，对包含裂缝的图像进行去噪和增强；在候选裂缝点检测阶段，将灰度图像转化为二值图像，并使用多方向非最小值抑制算法去除噪声；在裂缝连接阶段，基于像素追踪算法连接裂缝，同时对连接后的区域进行形状特征分析，筛去不符合要求的区域；在基于颜色特征进行噪声排除的阶段，根据裂缝的颜色特征再次进行噪声抑制，得到最终的裂缝检测结果；本发明抗噪能力较强，能在复杂的背景环境下提取出较为完整的裂缝。