本发明公开了一种处理视频数据的方法和系统，包括将运动估计、运动分离和运动补偿宏块功能从中央处理器上卸载到至少一个片上处理器上进行处理。对当前宏块，通过确定当前宏块的至少一部分与包括多个宏块的当前检索区的至少一部分之间的绝对误差和，经片上处理器生成基准视频信息。可从外部存储器和/或集成在片上处理器上的内部存储器接收所存储的当前宏块的至少一部分和/或当前检索区。根据像素亮度信息，确定绝对误差和，所述亮度信息与当前宏块的至少一部分以及当前检索区的至少一部分相对应。