本发明涉及声纹识别领域，且公开了基于声纹特征识别实现通话相关风险性判断系统及方法，包括以下步骤：Step1：对通话音频进行记录监控，并上传至数据库；Step2：对双通道音频进行通道分离，提取用户侧通话；Step3：通过智能去静音手段，去除静音音频片段，将其他有效音频重新合并为新音频；Step4：通过人工智能深度学习算法，在训练好的模型上，提取用户通话音频的声纹特征；Step5：将通话音频上传至数据库。该发明可提升声纹特征识别过程中的效率，及时监控发现通话过程中的风险，能够对有疑问的数据进行二次人工核验，提升判断的准确性，能够对同一用户的声纹数据进行不断比对避免出现误判。