本发明公开了一种离轴扫描距离测量系统，包括发射器、采集器以及控制与处理电路；其中，发射器包括光源、光束整形组件和第一级联液晶偏振光栅；采集器包括有第一、第二像素单元、第一、第二成像透镜单元、偏振选择组件以及第二级联液晶偏振光栅；其中，级联液晶偏振光栅用于形成圆偏振光束，圆偏振光束经过偏振选择组件后形成第一、第二、第三、第四偏振光束；其中，第一、第二偏振光束入射到第一像素单元上形成第一重叠区域和第一非重叠区域；第三、第四偏振光束入射到第二像素单元上形成第二重叠区域和第二非重叠区域；控制与处理电路根据非重叠区域处获得的飞行时间区分重叠区域处获得的飞行时间对应的探测区域。本发明可有效解决像素单元上的光斑重叠造成的测量误差等问题。