本发明公开了一种基于Transformer算法的单模态标签生成和多模态情感判别方法，包括：1获取多模态非对齐数据集，并进行预处理得到对应模态的嵌入表达特征；2建立ITE网络模块，提取模态内特征；3单模态标签预测和多模态情感决策判别标签的融合生成；4建立模态间BTE网络模块和模态增强MTE网络模块，并经过全局自注意力STE网络模块获取模态间特征和模态增强特征；5获取多模态情感深层预测的标签。本发明对目前多模态数据集仅有一个多模态标签的情况，通过自监督的带权投票机制进行决策融合产生单模态标签，基于多种跨模态TE的使用，使得模态之间数据充分交互，从而能提升多模态情感判别的精度。