本发明公开了一种彩色图像处理系统与处理方法，包括：数据存储器，存储执行不同处理时所需的各种系数；乘法/加法单元，将待处理像素的颜色值分别与载入的相应的系数相乘，并将所乘的结果相加；查表单元，对乘法/加法单元的输出执行非线性映射；模式配置控制单元，确定系统执行的处理模式，在执行所确定的处理模式时将系数从所述数据存储器载入所述乘法/加法单元和查表单元。处理方法包括：经离线训练预先获得并存储执行不同处理所需的各种系数；根据用户指令确定处理模式；根据所确定的处理模式对待处理像素值与其对应的系数执行乘法运算，并将所乘的结果相加；对相加的结果执行非线性映射。本发明可用于数码相机、电影、视频电话和安全系统。