本发明涉及一种视觉辅助惯性差分位姿测量系统，包括：测量单元，以及与测量单元连接的运动载具IMU、被测物体IMU和视觉单元；运动载具IMU和被测物体IMU用于获取运动载具和被测物体的运动信息；视觉单元用于获取被测物体相对于运动载具的视觉位姿数据；测量单元，接收运动载具和被测物体的运动信息，进行双IMU差分获得的载体坐标系下被测物体相对载体的惯性位姿数据；接收视觉位姿数据；并以视觉位姿数据为外部观测量对包括惯性位姿数据在内的状态数据进行卡尔曼滤波，输出滤波后的被测物体与运动载具的相对位姿数据。本发明充分利用惯性测姿采样频率高、短时精度高，视觉测姿无累积误差的特性，实现高精度的位姿追踪。