本发明公开了一种基于跨梯度训练的情感说话人认证方法，该方法的步骤包括：基于x‑vector系统结合多任务学习搭建网络模型；对训练语音提取声学特征；随机挑选一批训练语音样本的特征序列作为网络输入，同时进行情感分类和说话人分类，通过两个任务的联合损失调整网络参数；利用情感分类部分的损失函数更新特征序列；进行跨梯度训练，再次调整说话人分类部分的网络参数；网络训练完成后设定认证阈值即可进行说话人认证。针对说话人认证系统在注册语音和测试语音情感不匹配时性能下降的问题，结合多任务学习，本发明利用跨梯度训练，对训练数据的情感信息进行扩充，提高了情感语音的说话人认证性能，缓解了在小数据量训练集上的过拟合程度。