本发明涉及一种基于语义信息辅助的动态场景三维重建方法，包括以下步骤：(1)视觉传感器采集图像，并对采集到的图像进行语义分割和点、线特征提取，通过图像语义分割结果筛选出静态点、线特征；(2)结合步骤(1)得到的静态点和线特征，计算相机位姿，建立动态场景中的静态物体点云模型；(3)结合步骤(2)得到的动态场景中的静态物体点云模型，融合步骤(1)中的图像语义分割结果，将图像语义标签映射到三维空间点上，并采用贝叶斯滤波框架更新步骤(2)中所有地图点的语义类别，得到语义点云地图；(4)结合步骤(3)的语义点云地图，对同一类别点云进行聚类，采用最小包围盒方法确定物体位姿，得到动态场景的语义点云模型，解决了动态场景语义建图问题。