本发明适用于图像处理技术领域，提供一种基于正射影像和倾斜摄影数据的建筑物变化检测方法，所述方法包括：针对同一区域，获取不同时象的两期正射影像，通过建筑物提取和建筑物轮廓变化检测获得建筑物轮廓变化的栅格图斑，并进一步转换为矢量图斑；步骤S2、针对所述区域，获取与所述两期正射影像对应时期的倾斜摄影数据，通过建筑物高度变化检测获得建筑物高度变化矢量图斑；步骤S3、将建筑物轮廓变化矢量图斑与高度变化矢量图斑融合，得到整体的建筑物变化图斑。本发明通过深度学习算法，从遥感影像数据中自动提取建筑图斑，能够实现高精度自动识别建筑物，而且通过建筑物轮廓变化检测以及建筑物高度变化检测，可以判断出建筑的轮廓和高度是否发生变化，可快速判定当前疑似违章建筑，能够明显提高违建识别效率。