本发明公开基于多层级神经网络的抗模式耦合信号复杂格式解析方法，根据接收的未知信号，生成未知信号星座图；将未知信号星座图输入训练获得的卷积神经网络模型，预测获得传输模式和调制格式。训练获得卷积神经网络模型：卷积神经网络模型从有标签的星座图中提取高维信息特征；根据高维信息特征，判定获得传输模式和调制格式；将判定获得的传输模式和调制格式与标签比较，对卷积神经网络模型进行参数的更新迭代。本发明解决模分复用中的模间耦合问题，对于调制格式识别的干扰，能在耦合系数较高的情况下准确识别出未知信号星座图的调制格式，降低模式耦合对接收信号产生的干扰，调制格式识别结果更精准，鲁棒性更强。