本发明涉及一种基于赋权连接图的增量式运动恢复结构的方法，基于图像间立体匹配质量的连接图权重因子，创建赋权连接图，在赋权连接图中边的权重的基础上，搜索度数感知的最佳初始种子对；根据赋权视角连接图中已重建顶点的连通性构建下一张最佳图像候选集，设计基于顶点度数与特征点分布的图像评价函数对图像候选集中的所有图像评分，选取评分最高的图像作为下一张最佳图像，再通过三角化与光束平差步骤获得三维点云。本发明提供的方法提高了三维重建方法的点云生成数量，且平均耗时要比其他算法更低。因此在保证了目标重建的完整性和重建效果的同时，在算法效率上取得了明显的领先优势，可满足多人可穿戴摄像设备的三维重建的应用需求。