本发明公布了一种视频行为时间轴检测方法，基于深度学习和时间结构建模，并结合粗粒度检测与细粒度检测做视频行为时间轴检测，在已有模型SSN的基础上，使用双流模型来提取视频的时空特征；对行为的时间结构进行建模，将单个行为分为三个阶段；接着提出一种新的能够有效提取视频行为的时间边界信息的特征金字塔；最后结合粗粒度检测与细粒度检测，使得检测结果更加精确；本发明的检测精度高，超过了当前已有的所有公开方法，具有广泛的适用性，可适用于智能监控系统或者人机监护系统中对人类感兴趣视频片段的检测，便于后续的分析与处理，具有重要的应用价值。