本发明公开了一种实时的语义视频分割方法，用于对视频的语义分割算法进行大幅加速。具体包括如下步骤：1)获取用于训练语义分割的多组数据集，并定义算法目标；2)训练轻量级的图像语义分割CNN模型；3)对原始视频进行解码，得到残差图、运动向量以及RGB图像；4)如果当前帧为I帧，则将其送至2)中得到的分割模型，得到完整的分割结果；5)如果当前帧为P帧，则利用运动向量将其前一帧的分割结果传递至当前，并利用残差图选择当前帧的子块进行矫正；6)如此重复步骤4)、5)至完成所有视频帧的分割。本发明充分利用了视频中相邻帧的相关性，基于压缩域信息的加速处理能够在快速完成复杂分割任务的同时保持较高的准确率，效率比常见分割方法提高十数倍。