门控注意力神经网络
实质审查的生效
摘要
描述了一种包括注意力神经网络的系统，该注意力神经网络被配置为接收输入序列并处理输入序列以生成输出。注意力神经网络包括：注意力块，其被配置为接收从注意力块输入导出的查询输入、键输入和值输入。注意力块包括注意力神经网络层，其被配置为：接收从查询输入、键输入和值输入导出的注意力层输入，并将注意力机制应用于查询输入、键输入和值输入以生成注意力神经网络层的注意力层输出；以及门控神经网络层，其被配置为将门控机制应用于注意力块输入和注意力神经网络层的注意力层输出，以生成门控注意力输出。
基本信息
专利标题 ：
门控注意力神经网络
专利标题（英）：
暂无
公开（公告）号 ：
CN114424208A
申请号 ：
CN202080065247.5
公开（公告）日 ：
2022-04-29
申请日 ：
2020-09-07
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
埃米利奥·帕里索托哈苏克·宋杰克·威廉·雷西德汗特·马杜·贾亚库马尔麦克斯维尔·埃利奥特·耶德贝里拉兹万·帕什卡努恰拉尔·居尔杰勒
申请人 ：
渊慧科技有限公司
申请人地址 ：
英国伦敦
代理机构 ：
中原信达知识产权代理有限责任公司
代理人 ：
周亚荣
优先权 ：
CN202080065247.5
主分类号 ：
G06N3/04
IPC分类号 ：
G06N3/04 G06N3/08
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/04
体系结构，例如，互连拓扑
法律状态
2022-05-20 ：
实质审查的生效
IPC(主分类) : G06N 3/04
申请日 : 20200907
申请日 : 20200907
2022-04-29 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
