本发明属于自动驾驶中视频数据帧的预测领域，提供了一种基于关键点和卡尔曼滤波的视频预测方法及系统，首先，通过训练一个神经网络对搜集到的数据进行特征提取，将提取到的特征转化为关键点；其次，将关键点进行特征重构，并将重构出来的特征与初始图像帧的特征一起通过另一个神经网络进行图像重构，通过优化损失函数，获得特征提取网络与图像重构网络。最后，利用过程一种提取的图像关键点，结合RNN模型获得的图像先验信息，利用卡尔曼滤波对未来数据帧进行预测，并将预测图像与真实图像进行比较，优化相应损失函数训练RNN模型。