基于双通道交叉注意力机制的打架识别方法和装置

授权

摘要

本发明公开了基于双通道交叉注意力机制的打架识别方法和装置，该方法首先采集生成视频数据集，设置快慢两种帧率获取不同帧图像序列，进行预处理后分别送入快慢通道，在快慢通道采用基于分开时空自注意力机制的Transformer编码器提取图像序列时空编码特征；然后，经过交叉注意力模块融合一个通道CLS token与另一通道patch token信息，实现双通道时空编码特征融合；最后，将融合后的时空编码特征经过多层感知机头进行打架行为识别。本发明通过双通道Transformer模型与交叉注意力模块能有效提取视频时空特征，提高打架行为识别的准确率，适用于室内外监控系统。

基本信息

专利标题：

基于双通道交叉注意力机制的打架识别方法和装置

专利标题（英）：

暂无

公开（公告）号：

CN113936339A

申请号：

CN202111537924.1

公开（公告）日：

2022-01-14

申请日：

2021-12-16

授权号：

CN113936339B

授权日：

2022-04-22

发明人：

李玲徐晓刚王军祝敏航曹卫强朱亚光

申请人：

之江实验室;浙江工商大学

申请人地址：

浙江省杭州市余杭区中泰街道之江实验室新园区一期西区8号楼

代理机构：

杭州浙科专利事务所(普通合伙)

代理人：

孙孟辉

优先权：

CN202111537924.1

主分类号：

G06V40/20

IPC分类号：

G06V40/20 G06V20/40 G06V20/52 G06V10/774 G06V10/82 G06K9/62 G06N3/04