本发明涉及人工智能技术领域，提供一种自动化数据对比测试方法、装置、电子设备及存储介质，所述方法包括：当待测试项目的项目阶段为搭建平台阶段时，搭建数据自动化测试平台并对项目信息中的新指标进行验证；在验证结果通过时对项目信息中的第一全量指标与待测试项目的第二全量指标进行数据对比；当第一对比结果通过时，将上线前预设时间段内的第一测试结果与上线后相同预设时间段内的第二测试结果进行对比；当第二对比结果通过时，确定自动化测试通过。本发明通过对项目信息中的第一全量指标与待测试项目对应的预设的影子库中的第二全量指标进行数据对比，贯穿版本全流程进行测试，提高了数据对比测试效率。