本发明提出一种快速时空残差注意力视频超分辨率重建方法，通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分。本发明提出在高分辨率重建部分使用注意力机制，用于更好地复现高频信息。