本发明请求保护一种基于点云和视觉特征融合的虚实注册方法，整个过程分为离线和在线两个阶段完成，具体包括以下步骤：在离线阶段，在CAD环境中将参考对象零件三维CAD模型生成三维点云模型，为装配绝对坐标系的建立和后续的虚实注册做准备，为了加快点云配准及装配坐标系建立过程，在此阶段需要对参考对象零件的点云模型进行精简；在在线阶段，采集装配现场视频流并生成点云，利用参考对象点云和装配现场点云之间的配准完成装配绝对坐标系的定义，基于点云的虚实注册在迭代配准过程中需要一个初始配准阶段，设置初始点云相对位置，获得绝对坐标系下精确的跟踪注册矩阵。本发明既避免了相机移动速度过快时导致的“丢帧”情况，又提高了虚实注册精度。