本发明公开了一种基于偏振降噪的单光子成像系统，包括激光器、偏振分束器、信号光模块、泵浦光模块、合束器、和频模块、单光子探测器；偏振分束器将激光分成互相垂直的信号光和泵浦光，垂直偏振信号光经信号光模块转换为水平偏振信号光，与水平偏振泵浦光合束成一路激光，经和频模块转换为和频光，通过单光子探测器对和频光进行探测。该系统通过偏振分束器和检偏器以及波分复用器和合束器的简单组合使用，可有效提升非线性光学的和频效率，提升系统抗噪性能。