公开了在各种环境中显示真实世界空间和对象的虚拟表示的系统和技术。可以由头戴式显示器(HMD)设备扫描在第一位置处的源环境，以生成与在第一位置处的物理环境相对应的三维数据集。三维数据集可以包括与物理环境相关联的检测到的物理性质。在第二位置处，HMD可以重新创建源环境，并且基于三维数据集来绘制物理环境的虚拟表示以进行显示，其中源环境的虚拟表示被绘制以保持与物理环境相关联的检测到的物理性质中的任何一个检测到的物理性质。此外，在第二位置处，HMD可以使得用户能够查看物理环境的虚拟表示内的一个或多个物理对象，使得物理对象被感知为在源环境内。