本发明涉及计算机视觉及深度学习领域，尤其涉及一种基于级联Transformer的视频群体行为识别方法，首先采集生成视频数据集，将视频数据集经过三维骨干网络提取三维时空特征，选取关键帧图像空间特征图；对关键帧图像空间特征图进行预处理后送入人体目标检测Transformer，输出关键帧图像中的人体目标框；然后，映射筛选后人体目标框在关键帧图像特征图上所对应的子特征图，结合关键帧图像周围帧特征图计算query/key/value，输入群体行为识别Transfomer，输出群体级别时空编码特征图；最后，经过多层感知机对群体行为进行分类。本发明具有有效提高群体行为识别准确率的效果。