本发明涉及一种基于卷积的双目立体匹配网络结构，包括特征提取模块、粗糙视差值生成模块、视差范围预测模块、代价空间构建模块、粗糙视差图像生成模块以及精细视差图像生成模块；所述特征提取模块用于提取输入图像的特征数据，进行处理后输出相应输入图像的第一特征图像；所述粗糙视差值生成模块用于获取第一特征图像，进行处理后输出第一特征图像每个像素点的粗糙视差值。该基于卷积的双目立体匹配网络结构，将双目图像对作为输入，通过双目立体匹配网络直接输出视差图像，实现了端到端的网络结构设计，消除了传统双目立体匹配方法的后处理操作，如插值、滤波、亚像素增强等操作，极大提高了效率。