一种交替方向乘子的Visual Transformer剪...
公开
摘要
本发明公开了一种基于ADMM的VIT剪枝算法，该算法包括两个阶段，分别为ADMM算法简化权重优化问题和VIT模型权重的裁减，目的使用ADMM算法改写模型训练的权重优化问题，利用ADMM算法将原非凸优化问题分解为两个子问题，并对子问题分别用随机梯度下降法和解析法进行迭代求解。其中ADMM算法结合剪枝算法进行模型压缩，不同的剪枝算法对模型剪枝时有不同的剪枝粒度，对模型精度的影响程度也不尽相同，本发明中的权重剪枝算法剪枝粒度小对模型精度的影响较小，滤波器剪枝可以在不依赖特殊存储设备的情况下直接大幅压缩模型规模，可以根据实际情况需要进行选择，对于VIT模型在移动端和物联网端的实际应用具有重要意义。
基本信息
专利标题 ：
一种交替方向乘子的Visual Transformer剪枝方法
专利标题（英）：
暂无
公开（公告）号 ：
CN114492786A
申请号 ：
CN202111304190.2
公开（公告）日 ：
2022-05-13
申请日 ：
2021-11-05
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
王伟袁立娜肖春娇张志莹张志远王鑫博谷金涛
申请人 ：
辽宁工程技术大学
申请人地址 ：
辽宁省阜新市细河区中华路47号
代理机构 ：
代理人 ：
优先权 ：
CN202111304190.2
主分类号 ：
G06N3/08
IPC分类号 ：
G06N3/08 G06N3/04 G06K9/62
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06N
基于特定计算模型的计算机系统
G06N3/00
基于生物学模型的计算机系统
G06N3/02
采用神经网络模型
G06N3/08
学习方法
法律状态
2022-05-13 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
