一种基于深度学习的多视图自然场景重建方法，包括以下步骤：根据相机在不同角度拍摄的场景图片序列，首先对所有场景图像进行预处理，计算每幅图像的相机参数；根据提出的基于光度一致性度量图像相似度方法和视图选择算法，将其分为参考图像与源图像并在视图间进行支持域特征匹配。在卷积网络提取特征时根据匹配视图结果，构建图像特征金字塔；将所有原始图像以及参数文件经过改进的多视图立体重建神经网络,得到参考图像深度图，并在此深度图的基础之上融合成三维点云；运用表面重建算法生成场景网格模型，完成三维场景的重建工作。提高了基于图像的三维场景重建效率，实现特征图像块在跨视图中映射，使得提取的特征更加完善。