本发明公开了一种基于多模态相关性的人脸动画生成方法及系统，首先提出了一个基于多模态相关性的人脸动画生成神经网络框架；在网络结构上，首先提出使用多Transformer结构来建模语音驱动人脸动画生成任务中语音模态、图像模态以及语音/图像跨模态的相关性，并基于这种相关性计算驱动语音对应的人脸表情特征，从而提高生成的人脸动画的真实性和流畅性。在网络结构的基础上，创新性地将源视频引入训练过程，可以达到对驱动语音更准确的表情预测结果。另外，单语音模态驱动的方法只能在唇部上生成较好的动画结果，而引入源视频可以提高除唇部区域以外其他面部区域的真实性，从而生成更逼真的人脸动画结果。