本发明一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，用于遥感影像建筑物矢量化。本发明提出了一种新颖的建筑物矢量化提取框架，该框架包括：(1)语义分割网络，(2)矢量点集预处理模块以及(3)矢量点集优化模块。首先，将影像输入语义分割网络中获取建筑物掩膜，基于此得到的建筑物掩膜边缘是不规则的，通常存在许多冗余的矢量点；其次，基于边缘跟踪算法和等间距点采样算法将建筑物掩膜转换成矢量点集。第三，在得到预测的矢量点集后，将预测值输入矢量点集优化模块，同时进行点分类和点坐标回归，并对两个分支进行联合优化。最后，输出高精度的建筑物矢量化结果，对遥感影像建筑物进行矢量化解译。