本申请公开了一种混合结构的视频识别方法、装置、设备及其存储介质，该方法包括：读取视频文件；解码视频文件，选取预设数量的视频帧图片，同时将视频帧图片缩放到预设大小；通过预设层数的卷积网络完成对视频帧图片中低维度信息的提取，消除时间冗余度；将去除冗余度的低维特征输入到transformer网络中，对全局特征进行关联和融合；将抽取的特征送入到全连接层，完成类别分数的输出。本申请提供的上述方案，既能利用卷积消除视频的局部冗余，同时能够利用transformer网络实现对全局特征进行捕获。本发明提出的混合结构模型计算量小，推理速度快，模型参数小。