本发明公开了基于联合和交替学习框架的跨域新类人脸表情识别方法，包括：A、建立基本类表情数据集和复合类表情数据集；B、构建用于表情数据识别的情感‑相似度网络；C、对步骤B中的情感分支进行训练全部基本类表情数据的分类模型；D、对步骤B中的相似度分支进行学习表情数据可迁移的特征和度量；E、构建二阶段的联合和交替学习学习框架进行训练情感‑相似度网络，以提高模型对新类表情的泛化能力；F、在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集，每类Q个样本作为查询集，然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计算；本方案是一种灵活且贴近实际需求的解决新类人脸表情识别问题的方案。