本申请提供了一种人工智能系统的测试方法、装置、电子设备及介质。该方法在得到至少两个深度学习模型的模型决策因素后，获取至少两个深度学习模型的模型决策因素对应的测试数据和相应的真实输出结果；针对每个深度学习模型，基于深度学习模型输入的测试数据，对深度学习模型进行测试，获取深度学习模型输出的测试结果和当前模型指标；基于当前模型指标和深度学习模型的历史模型指标，确定深度学习模型的测试状态信息；根据深度学习模型输入的测试数据和输出的测试结果生成的测试热力图和相应的真实输出结果，确定深度学习模型的预测行为；生成测试报告。该方法可准确定位AI系统中待优化的数据模型，从而实现对AI系统进行优化的准确性。