本发明涉及遥感影像建筑物提取技术领域，具体地说是一种基于深度学习的建筑物提取方法，包括编码器、解码器、中层特征组合层的语义分割网络模型MFU‑Net；在编码器阶段实现深度特征的提取；在解码器阶段完成空间分辨率的恢复；在解码器之后添加了中层特征组合层，用来综合考虑不同深度特征，完成模型的输出；训练模型时通过不同损失求和来计算模型的最终损失值，本发明同现有技术相比，通过编码器、解码器和中层特征组合层的语义分割网络模型实现深层特征的提取，空间分辨率的恢复以及模型训练和输出，实现了精确地提取出不同尺度大小的建筑物，并且改善了边缘模糊的问题。