本发明提供了一种基于场景三维结构的图像拼接方法，利用现有设备获取场景的深度信息，生成深度图，将三维场景用空间平面表示，配准深度图像和高清相机图像，标定深度获取设备和高清相机的内参数以及外参数，依据多视几何原理推导得出高清相机图像和深度图像之间的多投影关系，根据投影关系，分别将多张高清图像投影到深度图像上，实现高清图像的拼接。本发明根据场景的三维结构和相机参数推导得到图像之间的投影矩阵，算法复杂度低，不需要高清相机之间有视场重叠，极大的提高了相机的利用率，相比现有利用特征点匹配关系求取图像之间投影关系的方法，本方法无需提取特征点，算法精度不依赖于特征点数量和质量，具有更高的鲁棒性。