本发明公开了一种商品推荐算法的有效性评估方法和装置，所述方法包括：基于用户的基本信息，获取一定时间段内所有用户的历史购买成交记录；基于历史购买成交记录，过滤掉所有的退货记录，选取最终成交的日志，随机抽取一定样本数量的成交记录作为最终的抽样信息表；基于获取的抽样信息表里的数据，进行清洗，对购买率进行加权计算，得出不同商品的真实购买率对照表；基于商品的真实购买率对照表，采用多维度指标对推荐算法的推荐效果进行评估；采用本发明的评估方法，如果评估结果会有负向效果，为是否实际线上测试提供参考，避免上线测试的时间成本和直接经济损失成本。