本发明公开了一种光轨道角动量复用的高阶模式检测系统及其方法，涉及光通信技术领域。本系统包括高斯光源、调制装置、产生待测复用涡旋光束装置、产生辅助高斯光束装置、第1检测装置、第1接收装置、第2检测装置和第2接收装置；第1控制器控制第1空间光调制器和第2接收器，并显示第2检测结果；第2控制器控制第2空间光调制器和第1接收器，并显示第1检测结果。本方法包括①在发射端：②在检测端；③在接收端。通过两个检测结果之间的关系，可以简单而又高效地实现复用涡旋光束高阶OAM模式的检测；本系统的结构简单，易于实现；本发明适用于光学微操作、光学成像、光通信和量子信息研究领域提供对复用涡旋光束高阶OAM模式的检测。