本发明公开了一种基于时空注意力模型的视频摘要生成方法，该方法基于“随手拍”视频的两个特点：“空间显著物体的吸引力”和“时间语义信息相关”，提出将时间语义信息和空间视觉信息融合，并以联合概率的形式以确定是关键帧的概率。首先将视频文件分解成帧序列，按照帧的时间顺序依次使用深度神经网络分别提取显著域特征和语义特征；显著域特征用于确定图像画面中，能够引起观众注意的区域；语义特征用于匹配当前视频帧与前后连续多张视频帧信息的关联程度，确定时序上的关键信息；通过对空间和时间上视频帧重要性的评估，确定时空上均有重要信息的关键帧；将重要性得分高的关键帧组成视频摘要。