本发明公开了一种深度学习模型编译器的自动化测试方法、装置及存储介质。其中，深度学习模型编译器的自动化测试方法，包括：根据预先设置的数据结构以及用户的输入信息，确定用例配置文件，其中数据结构用于存储用于创建单算子测试模型所需的参数信息；利用预先设置的测试框架对用例配置文件进行解析，确定与用例配置文件对应的模型框架类型；根据用例配置文件，生成与模型框架类型相关联的离线模型文件；通过离线模型文件进行与模型框架类型对应的深度学习模型编译器测试。