本发明公开一种基于正交特性孔径组对瞳孔追踪对应的光学显示结构，其包括由多个子像素阵列组成的像素阵列、多个由正交特性孔径组成的正交特性孔径组、瞳孔定位系统和控制装置。根据瞳孔定位系统所确定观察者瞳孔位置，控制装置选择激活至少一个的正交特性孔径组，并控制像素阵列各子像素阵列经激活正交特性孔径组中各自对应正交特性孔径，向观察者瞳孔所投射各自对应图像单元；经激活正交特性孔径组所投射图像单元，拼连为至少一个视角覆盖待显示场景的拼合图像，以基于单眼多图像或麦克斯韦图的技术路径进行显示。随着观察者瞳孔位置的改变，控制装置选择激活的正交特性孔径组随之改变，通过其以对观察者瞳孔的追踪对应，实现观察区域的扩展。