本发明公开了一种视频播放处理的方法，包括：播放终端访问提供视频源的服务器，拉取音视频数据到本地；对所述音视频数据按照协议约定的文件封装格式解封装和解码；同步播放解码后的音视频裸数据；备份解封装后的音视频编码数据帧；保留视频解码后的关键帧的图像数据以及关联的时间戳信息；记录所述关键帧和所述音视频编码数据帧的映射关系；在主画面实时播放的同时，在主画面旁呈现已经播过的关键帧画面；用户浏览并选中某个感兴趣的关键帧画面，定位到备份的音视频数据帧，以选中的关键帧开始的音视频帧序列作为待回放的数据；在直播主画面旁开启新的视频播放窗口，以待回放的音视频备份数据作为数据源，播放回放的数据。