本发明公开了一种基于动作与其共现特征重组的时序动作定位方法及系统，所述方法包括以下步骤：获取待时序动作定位的原始视频序列，分解为若干个视频片段并编码，获得编码后的视频特征序列；基于所述编码后的视频特征序列，通过预训练好的特征重组网络对原始视频特征序列进行特征重组，获得特征重组后的视频特征序列；其中，所述特征重组网络包括串接的特征解耦子网络和特征重构子网络，用于解纠缠动作特征向量并规则化共现特征向量；基于所述特征重组后的视频特征序列，获得时序动作定位结果。本发明中，首次提出对视频特征重构，以获得包含显著动作信息的新的视频特征，能够准确地分类动作和精确地检测动作边界。