本发明公布了一种基于外形‑运动双流信息融合的视频行为检测方法。该方法使用深度网络模型来提取外形和运动信息特征，构建卷积网络将这两部分特征进行深度的融合，在此基础上进行单帧的视频行为检测；设计一种动态增量式的链接算法把对应于同一运动目标的单帧检测结果链接成完整的行为轨迹。相比于当前的行为检测算法，本发明提出的方法检测精度高，在目前公布的测评数据集上，达到了领先的检测水平；同时可以应用于未裁剪的视频，在视频中存在多个运动目标时，具有很高的检测效率。