本发明公开了一种基于下采样的特征融合遥感图像语义分割方法，包括以下步骤：将用来训练的高分辨率的遥感图像和其对应的标签图分别按照相同的方式切割成小图像作为原始输入图像，模型结构分为下采样模块，高级语义特征提取模块，特征融合模块以及分类器模块组成，所述下采样模块对输入的原始图像提取高分辨率的低级语义特征后，将它们分成两条支路，一路进入高级语义特征提取模块提取高级语义特征，与另一路下采样模块直接提取的低级语义特征一起进入特征融合模块进行特征融合，最后，通过分类器模块对融合后的特征图进行分类，通过随机梯度下降的方式更新模型参数。本发明在减少参数运算的同时，提高了分割准确率。