本发明提供了一种对视频数据进行处理的方法，包括：如果数据流中存在数据丢失，则判断是否在软件处理层完成丢失数据预测估计及补偿，否则对视频数据进行播放；如果确定在软件处理层完成丢失数据的预测估计及补偿，则判断系统的实时性要求，否则进入解码器处理层；如果系统对实时性要求高，则对丢失数据进行基于时域的预测估计及补偿，如果系统对实时性要求不高，则对丢失数据进行基于空域的预测估计和基于时域的补偿，对视频数据进行播放；进入解码器处理层，解码器对接收到的存在数据丢失的视频编码数据流进行基于空域的预测估计和基于时域的补偿；解码器对接收到的视频编码数据流进行解码，并发送给播放装置进行播放。