视觉理解模型训练方法、装置、计算机设备和存储介质

授权

摘要

本申请提出一种视觉理解模型训练方法以装置。其中方法包括：对第一视觉信息理解任务的第一图像样本和第二视觉信息理解任务的第二图像样本分别进行编码，以获得与第一图像样本对应的第一编码结果和与第二图像样本对应的第二编码结果；基于第一编码结果对多个第一图像样本进行聚类，以得到每个第一图像样本所属的聚类类别；将每个第一图像样本按照同一类别组成至少一批训练数据对解码器进行训练，并在所有类别都训练结束后，从多个第一图像样本中选取M个代表性样本并存储至多级记忆模块的一级记忆中；基于多级记忆模块之中一级记忆中的所有代表性样本和第二图像样本，按照同一聚类类别组成至少一批训练数据对解码器进行训练。

基本信息

专利标题：

视觉理解模型训练方法、装置、计算机设备和存储介质

专利标题（英）：

暂无

公开（公告）号：

CN112712130A

申请号：

CN202110044054.8

公开（公告）日：

2021-04-27

申请日：

2021-01-13

授权号：

CN112712130B

授权日：

2022-06-10

发明人：

戴琼海郭雨晨方璐丁贵广

申请人：

清华大学

申请人地址：

北京市海淀区清华园

代理机构：

北京清亦华知识产权代理事务所(普通合伙)

代理人：

韩海花

优先权：

CN202110044054.8

主分类号：

G06K9/62

IPC分类号：

G06K9/62