本发明公开了推理服务方法、系统、存储介质和电子设备，可以通过主程序单元获得用户输入的原始待预测数据；主程序单元将原始待预测数据拆分成多个数据块；主程序单元将多个数据块分别发送至相应的消息队列容器，以使得各相应的消息队列容器所连接的N个任务执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进行预测，从而得到相应的预测结果，其中，一个所述数据块对应一个所述消息队列容器，每个所述数据块在相应的所述消息队列容器中的排序均相同。由此可以看出，本发明在面对大量推理需求时，可以并发多个任务执行容器，且每个任务执行容器只需针对一个数据块进行预测，效率较高，响应较快、可以及时返回预测结果。