基于单目RGB相机与三维体表示的光场视频合成方法属自由立体显示技术领域，本发明包括：1.利用特征提取和特征优化编码器，为当前帧RGB图像提取特征；2.利用像素对齐隐函数和高效的光线投射机制，为当前帧前景图像计算光场图像的估计值；3.利用前向和后向光流信息，为当前帧光场图像计算其估计值的时域一致性损失；4.通过对全局损失、局部损失、时域一致性损失加权求和，构造目标函数；5.通过最小化目标函数，得到当前帧光场图像的最优估计；本发明通过采用单目RGB相机与三维体表示，在保证光场图像空域和角度域一致性的基础上，能提高其时域一致性，从而提升自由立体显示内容采集的便捷性、鲁棒性，以及动态人体画面的稳定性。