本发明公开一种基于深度学习的时序动作识别方法，包含视频特征提取和时间边界回归模型构建。针对边界检测过程中长动作特征表达有效性不够的问题，通过双流网络同时提取帧间信息和帧内信息，得到视频单元的特征序列，并提出结合上下文信息的多尺度短动作段截选方案，有效地提高后续回归准确率，利用特征序列训练时间边界模型，减小模型训练时间，提高计算效率。针对长动作边界回归不准确问题，本发明提出一种改进的时间边界回归模型，包含改进的多任务多层感知器和一种全新的针对长动作的拼接机制，在保证动作类别准确的基础上，有效地提高长动作时间边界回归的准确率，提高预测动作段与实际动作段的重叠度，实现时序动作识别率的提高。