本发明涉及一种用于街景理解的基于动态插值重建的语义分割方法及系统，该方法包括：对训练集输入图像进行预处理，使图像标准化并获取相同尺寸的预处理图像；用卷积网络提取通用特征，再获取混合空间金字塔池化特征，以这两部分级联作为编码网络提取编码特征；从卷积网络中选取中间层特征，结合编码特征计算插值权重特征，以动态插值的方式搭建解码网络，重建图像分辨率，计算解码特征；计算得到边缘增强的语义分割损失，以最小化边缘增强的语义分割损失为目标对深度神经网络进行训练；利用深度神经网络模型对待分割图像进行语义分割，输出分割结果。该方法及系统有利于提高图像语义分割的准确性和鲁棒性。