本发明提出了一种相关信道下大规模MIMO系统非相干编码的检测方法，其步骤为：首先，在相关信道大规模MIMO系统中，利用信道相关矩阵构造基于黎曼距离最小化准则的非相干检测器；并根据非相干检测器的误差性能构造空时调制星座集的设计准则；其次，在矩阵流形上，设计基于李群的参数化空时调制星座集；再基于优化准则和空时调制星座集，确定最优的离散星座集结构；然后，基于最优的离散星座集结构，利用离线穷尽搜索算法确定各调制参数的子星座集的最优基数；最后，利用空时调制星座集的结构，简化非相干检测器的检测算法，降低信号处理的复杂度。本发明解决了非相干检测器在大天线数时的误差地板效应，改善了MIMO系统的误差性能。