本申请实施例提供了一种基于柱透镜的自由立体图像处理方法、装置、设备及系统。该基于柱透镜的自由立体图像处理方法，包括：获取与人眼位置对应的空间视区信息；空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区；构建与空间视区信息对应的虚拟图像信息；根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值；背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小；将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息。本申请实施例为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性。