本发明公开了一种基于参考反射镜差动探测的白光干涉测量装置，白光光源发出的光经过可变光阑和第一透镜组后，到达分光棱镜组；分光棱镜组将入射光分为两束，一束经过第五透镜组后达到样品台，另一束在经过第二偏振分光棱镜后被分成p偏振光和s偏振光两路；p偏振光和s偏振光被反射后从第二偏振分光棱镜出射，并与从样品台反射回来的光在分光棱镜组处产生干涉；干涉光从分光棱镜组到达第一偏振分光棱镜后再被分成p偏振光和s偏振光两路，并得到两组干涉图像；利用两组干涉图像的差值来获得零光程差点。该装置增强了白光干涉仪光路的抗噪声能力，并提高了三维形貌恢复算法的精度。