本发明公开了一种联合卷积与图神经网络的表格结构识别方法，其特征在于，所述方法包括：构建联合卷积图神经网络，所述的联合卷积神经网络包括深度二维卷积神经网络、二维卷积神经网络和图神经网络；利用不确定度加权的多任务学习损失函数训练所述的联合卷积图神经网络；使用二维卷积神经网络预测表格各单元格中心点坐标，基于中心点构建表格结构的图，利用所述的图神经网络对图的每条边进行分类；后处理算法处理分好类的表格结构的图，得到各单元格的结构属性，并转换为描述表格结构的标记语言。本发明方法提供一种端到端可训练的基于图神经网络显示建模表格结构的方法来高效识别表格结构。