本发明提出一种大场景光场实时重建智能理解系统与装置，该装置通过获取三维实例的深度图，通过同步定位与建图得到对应三维实例深度图的三维体素和体素颜色信息；构建光场实时重建网络模型通过稀疏卷积网络对所述三维实例深度图的三维体素和体素颜色信息进行特征提取，对提取的特征进行语义分割和实例分割，以获取三维实例深度图对应的语义分割结果和实例分割结果。通过本发明，能够大幅度提升实例分割精度和速度，为AR/VR等应用提供实时有效的场景信息。