本公开公开了单算子多模型流水线推理方法、系统、电子设备及介质，涉及深度学习、自然语言处理以及智能云等人工智能领域，所述方法可包括：构建由基于远程过程调用协议的微服务框架和图执行引擎组成的单算子多模型流水线推理系统；利用该系统完成对于用户请求的处理；其中，基于远程过程调用协议的微服务框架用于将用户请求发送给图执行引擎，并获取图执行引擎返回的处理结果，返回给用户；图执行引擎用于利用操作节点对用户请求进行处理，并将处理结果返回给基于远程过程调用协议的微服务框架，图执行引擎中包括多个操作节点，且其中的至少两个操作节点分别对应于不同的模型服务。