本发明公开了一种基于内存与图像分类模型时延关系的任务调度方法，目的是解决用户图像分类任务时延要求，并使得内存资源负载均衡。技术方案是构建由环境部署模块、测试模块、拟合模块以及任务调度模块四个模块组成的内存与图像分类模型时延关系的任务调度系统；测试模块测出不同内存下各预训练好的图像分类模型的时延结果；拟合模块根据时延结果拟合出内存与图像分类模型时延的函数关系。任务调度模块根据该函数关系及用户时延要求算出图像分类任务内存需求量，再根据虚拟机的剩余内存资源设定优先级，基于优先级将任务调度至优先级最高的虚拟机上运行，使在满足用户图像分类任务时延要求的同时，数据中心的内存资源整体达到负载均衡。