本发明公开了一种融合几何感知与图像理解的建筑物自动提取方法，首先进行遥感数据选取和预处理，然后将得到的多波段遥感影像与归一化数字表面模型作为输入特征图，输入到基于改进深度残差网络的编码器端进行特征学习；接着将高层次语义特征输入到网络的建筑物多尺度高效感知模块中，将低层次语义特征与建筑物多尺度高效感知模块学习输出的高层次语义特征输入到网络解码器端，得到二值地物分类图；最后将网络解码器端输出的二值地物分类图输入到网络损失函数层来“驱使”网络学习到能够拟合目标任务的最优权重参数，最终由网络输出层输出最终的建筑物分类图，完成端到端的建筑物自动提取。本发明能够在建筑物提取精度和提取效率方面取得最佳效果。