支持高并发的大规模生成式语言模型快速推理方法及系统
实质审查的生效
摘要
本发明公开了一种支持高并发的大规模生成式语言模型快速推理方法及系统，方法包括：获取第i步的前序文本的注意力中间值和第i步的预测文本，并保存第i步的前序文本的注意力中间值；获取第i步的预测文本对应的注意力中间值，根据第i步的预测文本对应的注意力中间值与第i步的前序文本对应的注意力中间值获取第i+1步的前序文本对应的注意力输出结果；根据第i+1步的前序文本对应的注意力输出结果生成第i+1步的预测文本。本发明能够加速大规模生成式语言模型的推理速度，缩短用户等待模型输出的时间。
基本信息
专利标题 ：
支持高并发的大规模生成式语言模型快速推理方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114385785A
申请号 ：
CN202111594472.0
公开（公告）日 ：
2022-04-22
申请日 ：
2021-12-23
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
易泽轩胡江礼邓磊李文龙王进王晖曾炜
申请人 ：
鹏城实验室
申请人地址 ：
广东省深圳市南山区兴科一街2号
代理机构 ：
深圳市君胜知识产权代理事务所(普通合伙)
代理人 ：
陈专
优先权 ：
CN202111594472.0
主分类号 ：
G06F16/33
IPC分类号 ：
G06F16/33 G06N5/04
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06F
电数字数据处理
G06F16/33
••查询
法律状态
2022-05-10 ：
实质审查的生效
IPC(主分类) : G06F 16/33
申请日 : 20211223
申请日 : 20211223
2022-04-22 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
