本发明实施例公开了一种互联网用户体验改进测试试验结束的判定方法，包括如下步骤：步骤100、选择样本，并将样本分别标记为样本A和样本B；步骤200、设定因随机因素引起的改进差异概率为x，并计算x值；步骤300、依据x值计算统计显著性Y值，其中，Y值表示不由随机因素引起而是由用户体验不同而引起差异的概率；步骤400、设定统计显著性的阈值，并将计算结果与其进行比对，根据计算的统计显著性的历史变化趋势得出结论的判据；本发明根据统计显著性的变化特征，得出可靠的AB测试结论，其中，统计显著性的变化特征包括统计显著性的数值和统计显著性变化趋势，并以统计显著性的变化特征总结为规则，用计算机软件自动执行此规则。