一种基于c++的人工智能加速卡推理服务设计方法及系统
实质审查的生效
摘要
本发明公开了一种基于c++的人工智能加速卡推理服务设计方法及系统，属于人工智能加速卡领域；所述的本发明方法具体步骤如下：S1客户端将图片预处理为适合加速卡处理的数据类型；S2服务端将数据传递给加速卡进行推理；S3服务端通过json配置管理和加载模型文件；S4服务端将数据返回客户端，通过定义callback使不同的模型注册相应的后处理操作；不同模型经过加速卡的推理之后得到的数据格式一般不会相同，所以最后需要对数据进行后处理，以得到期望的结果，当存在不同类型的加速卡和模型时，能够以最小的工作量来完成相关的部署同时保证其工作效率。
基本信息
专利标题 ：
一种基于c++的人工智能加速卡推理服务设计方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114443289A
申请号 ：
CN202210012339.8
公开（公告）日 ：
2022-05-06
申请日 ：
2022-01-06
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
姜玉哲孙桂刚李超
申请人 ：
浪潮软件集团有限公司
申请人地址 ：
山东省济南市高新区科航路2877号
代理机构 ：
济南信达专利事务所有限公司
代理人 ：
姜鹏
优先权 ：
CN202210012339.8
主分类号 ：
G06F9/50
IPC分类号 ：
G06F9/50 G06T1/20
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F9/00
程序控制装置，例如，控制单元
G06F9/06
应用存入的程序的，即应用处理设备的内部存储来接收程序并保持程序的
G06F9/46
多道程序装置
G06F9/50
资源分配，例如，中央处理单元的
法律状态
2022-05-24 ：
实质审查的生效
IPC(主分类) : G06F 9/50
申请日 : 20220106
申请日 : 20220106
2022-05-06 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
