本发明公开了一种基于多任务学习和注意力层融合的多模态情感分析方法，涉及多模态情感分析技术领域。本发明包括所述方法包括：S1、构建单模态抽取；具体抽取操作如下：对存有多个样本的数据集中每个数据片段出现的讲话者进行统计，每个讲话者用一个独热码作为其特征表示，话语片段中出现的讲话者用SP_u表示。本发明通过多模态情感分析算法，首先利用现有的工具获取文本、音频和视频的特征，而后通过多个双模态注意力层实现不同模态的特征融合，最后利用反讽分类的辅助任务提升情感分类的主任务效果。该算法内容的创新点是设计了一种双模态注意力模块，能够深度融合两种模态的信息，获取对应的语义表示。