本发明公开了一种离轴扫描距离测量系统，包括发射器、采集器以及控制与处理电路；其中，发射器包括光源、光束整形组件以及第一级联液晶偏振光栅；第一级联液晶偏振光栅用于对光束进行衍射以产生衍射光束，衍射光束照射待测目标，经反射得到反射光束；采集器包括像素单元、成像透镜单元、偏振选择组件以及第二级联液晶偏振光栅；第二级联液晶偏振光栅用于形成圆偏振光束；发射器和/或采集器被配置为使得每束圆偏振光束经过偏振选择组件后形成的每束偏振光束入射到重叠区域内的像素单元上的位置与像素单元中的每个像素一一对应。本发明有效解决了像素单元上的光斑重叠造成的测量误差等问题。