本发明公开了一种基于性别和语言的说话人识别方法及系统，属于说话人识别领域。包括：获取待识别语音数据，具体为包含有效说话人音频的音频文件；将音频文件通过降噪处理得到低噪声的语音音频；将降噪后的语音音频通过SMAC特征提取得到语音频谱特征图；将语音频谱特征图输入ResNet模型中得到语音特征向量；将语音特征向量输入到多目标学习模型中，识别得到说话人身份、说话人性别以及说话人使用的语言信息；通过将三个识别任务结果进行加权融合，得到待识别语音数据对应的说话人识别结果。本发明综合利用了语音中带有的性别信息和语言信息，有效的提高了说话认识别的鲁棒性，特别是在说话人语音变化的情况下，识别精度高。