本发明涉及一种基于得分差加权融合的多模态身份识别方法，首先利用一组说话人样本数据，通过原有的传统单模态分类器每个样本相对模板中每个说话人模型的得分；如果得分最高的那个模型和样本属于不同的说话人，则记录下两者的得分差；然后把单个分类器中所有这些差值都累加起来；最后利用各分类器的得分差来确定各个模态的权重。本发明有益的效果是：利用多生物特征进行交叉身份认证，并采用一种修正的基于得分差的加权算法SDWS对两个生物认证模态进行融合，把两种身份认证的结果加以综合。利用两种生物特征信息识别的优点，提高容错性，降低不确定性，克服单个生物特征信息的不完整性，增强识别决策结果的可靠性，使其具有更广泛安全性和适应性。