本发明公开一种处理视频数据的方法和系统。所述方法包括在芯片上接收多个视频帧，并储存所述多个视频帧的至少一部分于所述芯片的存储器内。在所述芯片上解码所述存储的视频帧的第一部分，并且在所述解码过程中，在所述芯片上编码所述存储的视频帧的第二部分。所述存储的视频帧的第三部分从输入视频格式转换为YUV视频格式。对应该转换后的所述接收的视频帧的第三部分的参考帧可从所述存储的视频帧中识别出。转换后，所述接收的视频帧的转换后的第三部分可用作参考帧，以进行估算/编码，或补偿/解码随后接收的视频帧的瞬时动作。