本申请公开了一种单点直接测量飞行时间装置及激光测距系统，其中，装置包括并行设置的多个TDC、与各TDC对应的多个地址读出电路和直方图累加电路。TDC将目标像素点对应的光信号的飞行时间转换为数字信号；第M个TDC输出第M个TDC使能信号和第M个TDC地址信号，第M个TDC使能信号、第L个TDC地址信号与第M个地址读出电路相连，且M不等于L。地址读出电路将接收到的多个并行的数字地址信号转换为串行数据输出；其中，第M个地址读出电路用于接收第M个TDC使能信号和第L个TDC地址信号。直方图累加电路通过累加串行数据，生成飞行时间分布直方图。本申请实现了真单点测量系统，有效防止用户数据泄露。