本发明公开了一种带有双向连接和遮挡处理的全景分割方法。方法包括如下步骤：1)获取用于训练全景分割的数据集，并定义算法目标；2)使用全卷积网络对组内图像进行特征学习；3)经过语义特征提取分支对特征图提取语义特征；4)经过实例特征提取分支对特征图提取实例特征；5)建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；6)建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；7)使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。本方法充分利用了语义分割和实例分割之间的互补性，同时应用底层特征表观信息所提出的遮挡处理算法，高效地完成了图像的全景分割。