本发明公开了一种基于时空上下文的视频全景分割方法，包括以下步骤：将待全景分割的视频处理为连续的图像序列；获取图像序列间的光流；获取图像序列中每幅图像的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果，将图像序列中出现的每个物体进行一致性关联，获得视频全景分割结果。本发明的视频全景分割方法，可获得更准确的视频全景分割结果。