一种联合语气词特征的视音频驱动人脸动画方法及系统，通过提取语音特征构建出语音特征矩阵，利用语气词增强训练网络的多层卷积操作对特征矩阵进行采样并映射到低维空间的中间变量；对输入的语音转换成文字，从文字内容中识别出语气词并构建one‑hot向量，与中间变量拼接后得到包含语气词特征的中间变量；再通过语气词增强训练网络进行卷积后映射为当前帧的表情AU参数，用于与视频追踪、语音预测算法生成的AU参数拟合后作为人脸模型的驱动参数，实现表情增强。本发明通过输入用户面部的视频内容和用户发声的音频内容，就可以联合驱动虚拟场景中的三维Avatar模型，在实时驱动的基础上，使整体和局部的面部动画都得到较为逼真和生动的表现效果。