本发明提供了一种基于多模态交互的谣言检测方法及系统，包括：获取若干条待检测推文；提取每条待检测推文的序列增强文本特征；提取每条待检测推文的序列增强视觉特征；基于序列增强文本特征和序列增强视觉特征，使用交互使用注意力机制，获得带有文本注意力的视觉特征和带有视觉注意力的文本特征，并基于带有文本注意力的视觉特征和带有视觉注意力的文本特征，生成视觉特征和文本特征；将带有文本注意力的视觉特征、带有视觉注意力的文本特征、视觉特征和文本特征进行特征融合，基于融合后的特征，得到每条待检测推文是否为谣言的结果。能够有效地融合待检测推文中的多模态数据并生成联合表示，提高了谣言检测的精度。