本发明公开了一种应用于光通信系统的信号编码调制方法。传统网格编码调制依据方形正交幅度调制星座图，而该方法的预设信号星座图以三角正交幅度调制信号星座图为基础，将所述星座图划分为多个三元子集，通过子集选择和分集映射实现星座点的选择，得到复数信号，再将其进行光调制。信号调制完成之后，将信号通过光纤信道，在信号接收端收到上述光信号，将接收到的光信号进行模数转换，得到复数信号。再使用软判决维特比译码算法进行解调判决，得到原始信号。该方法通过改变星座图的结构和编码调制方法，可以实现平均符号能量的降低，从而降低信号发送的平均功率，延长光纤传输距离。