本发明公开了一种双边滤波器的硬件架构系统及其权重优化方法，所述系统包括：获取双边滤波器的滤波掩模，并根据所述滤波掩模，得到空域核权重；其中，所述滤波掩模用于表征滤波器的权重；根据所述滤波掩模，得到值域核权重，并对所述值域核权重进行分段拟合运算，得到最优值域核拟合权重；根据所述空域核权重和所述最优值域核拟合权重，得到优化的双边滤波器权重。本发明通过将双边滤波器的值域核权重进行分段拟合运算，从而在保留精确度的情况下减少存储消耗，同时在硬件架构上对权重进行选择，并对权重归一化过程进行优化设计，以进一步达到加速效果。