本发明提供一种面向多模态知识图谱构建的识别视觉概念的方法，第一次显式地提出在面向多模态知识图谱构建过程中有针对地识别视觉概念这一问题，将该问题建模为一个二分类问题，筛选并设计了解决该分类问题所需的特征数据，从而构建出了一个双流的含BERT模型和图像分类模型的多模态分类模型，用来编码和融合待测概念的文本特征和图像特征，从而达到区分视觉概念和非视觉概念的目的。同时，该多模态分类模型采用了二阶段的PULearning的训练方法，用纯自动化的方式实现了训练数据的初始化，用自训练的思想在迭代中自动化地有效地扩充训练数据集，在扩充的过程中也完全规避了人工的手段且提升了分类网络的准确率。