本发明实施例公开了一种用于互联网用户体验改进的测试统计方法，包括如下步骤：步骤100、选择样本，并将样本分别标记为样本A和样本B；步骤200、记录样本数量n，样本转化数X和样本转化率以及总样本转化率P，并依据样本数量n，样本转化数X和样本转化率计算总样本转化率P；步骤300、设定因随机因素引起的改进差异概率为x，并计算x值；步骤400、依据x值计算统计显著性Y值，其中，Y值表示不由随机因素引起而是由用户体验不同而引起差异的概率；本发明基于统计显著性的概念，以统计显著性来量化衡量改进幅度的可信度，基于统计显著性本发明可以定量的表示版本B较版本A的改进幅度的可信程度，并通过计算统计显著性的数值，以此决定改进是否可以采信。