本发明公开了一种视频关键点的动态捕捉方法及装置，方法包括：对预处理后图像中的背景进行建模，对没有运动目标的图像进行预处理后获得图像的灰度值，并按区间进行统计，获取初始背景图像灰度值的分布区间；当有运动的目标出现后，利用前期的背景图像，通过减法运算获取背景差图，区分出运动前景和背景，实现图像分割；基于图像分割结果，在原有关键点的匹配过程中增加一种多尺度区域卷积神经网络，用以提升视频前一帧与后一帧中关键点匹配精度；使用最小二乘法拟合出关键点的运动轨迹，实现视频中关键点的动态捕捉。装置包括：处理器和存储器。本发明实现了对输油管道的关键点运动轨迹动态预测，拟合输油管道的运动状态，实现对输油管道工作运行状态的实时监测。