本发明公开了一种新的基于深度学习模型的视频语义提取方法，包括步骤如下：基于视频物理结构，通过对视频帧序列组合与分割，得到语义结构化的视频数据；通过使用滑动窗口将语义结构化的视频数据处理成三维卷积神经网络的输入数据；创建三维卷积神经网络模型，使用滑动窗口的输出数据作为训练数据；基于三维卷积神经网络的输出结果作为连续时序分类算法的输入，通过反向传播算法完成三维卷积神经网络参数的训练；将训练好的三维卷积神经网络‑连续时序分类算法作为体育视频语义提取模型提取视频语义。本发明通过提出的视频语义结构化方法结合三维卷积神经网络和连续时序分类算法能较好地捕捉动作之间的联系，提高体育视频语义提取准确度。