一种基于时空上下文分析的在线视频行为检测方法，该方法采用深度学习框架并结合时空上下文分析技术实现了输入视频中发生行为的在线检测，且该检测是在时间域和空间域联合进行的。本发明包括两个部分：视频片段内的行为检测和视频片段间的链接。在视频片段内算法利用编码‑解码模型，结合当前帧和时空动态信息，产生候选动作区域；视频片段间链接把候选动作区域链接成行为链，该链持续关注指定的动作对象，从它出现直到结束，同时以在线的方式预测出行为的类别。