本发明涉及一种基于跨媒体数据的食品安全知识图谱构建方法及系统，其方法包括：S1：获取多源异构的食品安全文本和食品安全图像，并对食品安全文本进行标注；S2：通过信息抽取与知识存储的方法，提取食品安全文本中的文本实体及其对应的关系，并存储至食品安全文本知识库；S3：通过视觉分析与对比外部知识库的方法，提取食品安全图像中的图像实体及其标签，并存储至食品安全视觉知识库；S4：通过知识表示学习方法，消除食品安全文本以及食品安全图像之间的异构性，对齐文本实体和图像实体，构建基于跨媒体数据的食品安全知识图谱。本发明提供的方法将与食品安全相关的由不同用户产生的、不同来源渠道的跨媒体食品安全数据融合在一起。