一种基于注意力特征信息的BERT模型融合方法
公开
摘要
本发明公开了一种基于注意力特征信息的BERT模型融合方法，该方法利用每个原模型对输入文本的隐藏表示信息，来计算每个原模型的权重，然后利用每个原模型的权重信息，对原模型的注意力特征信息进行加权融合，最后利用融合后的注意力特征信息对新模型进行调整，提高新模型的表现效果。该方法可以充分利用BERT模型的注意力特征信息，提高融合后BERT模型的表现效果。相比于其他融合方法，本方法可以有效地完善融合后模型的注意力特征信息，使得融合后的模型对文本的注意力特征更加完整，进而提高融合后模型的表现效果。
基本信息
专利标题 ：
一种基于注意力特征信息的BERT模型融合方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114580660A
申请号 ：
CN202210176600.8
公开（公告）日 ：
2022-06-03
申请日 ：
2022-02-25
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
陈珂杨浩磊寿黎但胡天磊陈刚江大伟骆歆远
申请人 ：
浙江大学
申请人地址 ：
浙江省杭州市西湖区余杭塘路866号
代理机构 ：
杭州求是专利事务所有限公司
代理人 ：
邱启旺
优先权 ：
CN202210176600.8
主分类号 ：
G06N20/20
IPC分类号 ：
G06N20/20 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N20/20
•集成学习
法律状态
2022-06-03 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
