本发明涉及一种自注意力多尺度特征融合的遥感图像语义分割方法，所述分割网络包括特征编码器和解码器，特征编码器将前三个阶段不同尺度大小的特征图传递给解码器中对应的自注意力多尺度特征融合模块，解码器从最后一个阶段的特征图开始上采样并与自注意力多尺度特征融合的特征图进行叠加，逐步进行直到和第一阶段的特征图尺度一样，最后将所有尺度的特征图分别上采样至原图大小并对每个像素预测分类，并将四个尺度的预测结果进行融合得到最终的遥感图像语义分割结果，本发明方法能够有效融合不同尺度的遥感语义特征，提升分割性能。