本发明公开一种基于3D模型匹配的数字孪生方法和系统，方法包括模型和纹理训练、模型匹配、纹理融合、场景放置四步；其中，模型和纹理训练是离线预处理步骤，模型匹配、纹理融合和场景放置是实时处理步骤。模型的训练使用多视点剪影图像学习三维结构，实现多边形网格三维重建；纹理的训练通过一个固定的UV映射来获得纹理流，实现2D图像到3D纹理的推理。模型匹配使用重建后的模型和数据库的模型进行IOU迭代计算，获取IOU值最接近1的模型作为匹配后指定的模型。纹理融合是将匹配后指定的模型与纹理推理后的3D纹理流融合，形成标准的3D模型。场景放置是将3D模型准确地放置在3D场景中。这种数字孪生方法自动地生成3D模型场景，提高了数字孪生效率。