本发明实施例提供一种说话人验证方法。该方法包括：通过加权双向特征金字塔网络对待验证语音处理，得到特征图；将特征图作为主干网络的横向层的输入，输出原始的待验证语音的第一映射特征；将第一映射特征作为主干网络的自上而下层的输入，输出中间层的细粒度的第二特征映射；将第一映射特征和第二特征映射作为主干网络的自下而上层的输入，输出混合的第三特征映射，通过第三特征映射进行说话人验证。本发明实施例还提供一种说话人验证系统。本发明实施例可以简单无缝地与现有卷积主干网络进行结合，并且可以大幅度的提升基线网络的性能，从而可以捕捉建模说话人特征中复杂的关系，提高说话人验证的准确性。