本发明披露了一种数据处理技术领域的推理服务组件的运算方法和TensorRT推理服务组件，具体包括：接口层，用于待处理数据和推理结果数据与外部的交互；推理层，包含第一运算队列，所述第一运算队列包括一组以上第一运算对象，每一所述第一运算对象有对应连接的TensorRT对象；每一所述第一运算对象包括预设的推理服务模型；调度层，从所述接口层获取待处理数据，从所述推理层获取推理输出结果；调取所述第一运算队列的所述第一运算对象，根据所述第一运算对象执行推理服务；释放所述第一运算对象至第一运算队列。插件层，所述插件层连接所述推理层，所述插件层用于提供推理服务模型。本技术方案使TensorRT调用更加灵活方便。