本发明提供了一种行为速率引导的视频行为识别方法，包括：1)将视频拆分成图像帧，并按高低两个帧率采样；2)使用卷积神经网络对抽取的图片进行特征提取；3)将高帧率路径提取的时间特征与低帧率路径的空间特征合并，形成侧向连接；4)使用基于特征差分的动作感知对时间和通道维度加权；5)使用一个已经训练的卷积神经网络对训练集识别，求出每个类别动作的行为速率；6)基于行为速率对高帧率路径提取出的时间特征和低帧率路径提取出的空间特征进行倾向性融合；7)对UCF‑101数据集的行为识别数据进行训练建模，对测试集进行识别得到准确率结果。从实验结果可以看到，本发明针对行为识别在主流数据集上提高了测试结果的精度。