本发明属于医疗图像处理技术领域，具体为一种利用相邻帧时空信息的食管内镜视频帧序列质量分类的算法。本发明算法包括：构建用于视频帧序列预测算法的卷积神经网络模型，包括内容特征提取子网络、运动特征提取子网络，参考两种特征的信息，最后通过全连接子网络给出中间帧的视频质量分数；进行数据的收集与模型的训练，当训练的目标函数降低至某可接受阈值，即可认为网络收敛；最后，将连续三帧图像输入到训练好的网络模型中，得到中间帧的质量分类；实验结果表明，本发明算法的质量分类的准确性超过85％，对于临床食管内镜的诊断与质量控制，具有很强的应用价值。