一种实时渲染影像的追踪系统、追踪方法以及非暂态电脑可读取媒体，追踪系统包含控制器、服务器以及电子装置。电子装置包含处理器以及显示器。控制器用以提供第一追踪数据以及第二追踪数据，电子装置用以提供第一观察数据以及第二观察数据。服务器用以根据第一追踪数据以及接收自电子装置的第一观察数据产生第一影像。处理器用以接收第一影像以及根据第一影像、第二追踪数据以及第二观察数据产生第二影像。显示器用以根据第二影像显示模拟场景。借此因此，头戴式显示装置能够在增强现实场景中无延迟地显示模拟手势的技术效果。