本发明提供一种面向视频的时间动作检测方法，解决实际数据中动作实例的持续时间变化很大的问题。本发明采用TAPP方法利用注意机制关注提案的区别性部分，抑制背景对提案特征的影响；然后构造时间金字塔结构，在不丢失时间信息的前提下，将任意长度的提案特征序列转换为多个定长序列，同时设计了一个多尺度时间函数，将其应用到时间金字塔中来生成最终的提案特征，并且基于TAPP方法构建了一个时间动作提案生成模型和一个动作提案分类模型，可以有效的处理不定长时间的时间动作提案，从而更好的完成视频数据中的时间动作检测任务。