在使用计算机生成现实界面来控制外部设备的一些示例性过程中，从外部设备接收指定外部设备的功能的信息。利用一个或多个图像传感器来获得包括外部设备的物理环境的第一图像数据。在显示器上显示根据第一图像数据的物理环境的表示。在显示物理环境的表示的同时，利用一个或多个图像传感器来获得第二图像数据，所述第二图像数据识别显示器与物理环境中的外部设备之间发生的手势。进行确定以确定所识别的手势是否满足与功能相关联的一个或多个预定标准。根据确定所识别的手势满足与功能相关联的一个或多个预定标准，使外部设备执行所述功能。