本发明提供一种基于卷积神经网络和边缘约束能量优化的端到端的绿地水系矢量提取方法，设计适用于遥感影像的绿地水系提取网络架构。该架构包括遥感影像上下文特征抽取与融合，实现待处理区域影像基础特征抽取；在抽取丰富特征的基础上，结合卷积层和上采样层，并采用端到端的以能量优化迭代的方式，得到较精细且平滑的绿地水系边缘；最终使用全连接层或图卷积层微调至精细的绿地水系边缘。另外，本发明采用两种损失交叉熵和Dice损失用于绿地水系的语义识别，并在全卷积网络端和边缘能量约束优化端对识别结果进行约束，以及提出多层坐标点匹配损失函数实现对轮廓点的约束，使得模型能够让预测的结点更好地接近真值轮廓点。