本发明公开了一种基于多模态信息的身份识别方法，包括下述步骤：步骤一，制作带有标签的多模态视频数据集；步骤二，分别构建和训练人脸和头部检测模型；步骤三，构建和训练人脸、头部和声音的特征提取模型；步骤四，通过训练好的特征提取模型，对人脸、头部和声音信息进行特征提取；步骤五，构建和训练分类模型分别对三种提取后的特征进行分类；步骤六，通过分类模型分别使用三种特征进行结果预测；步骤七，依据制定的多模态信息融合策略对分类结果进行信息融合；步骤八，对融合后的结果进行整理后输出身份识别结果；本发明提出基于多模态信息的身份识别网络模型，在人机交互、信息安全和安保监控等领域有着广泛的应用前景。