本发明涉及一种基于分阶段交叉训练的唇语识别方法及系统。所述方法包括：基于端到端的训练方式获取第一阶段编码网络参数、解码网络参数；第二阶段根据单一身份数据训练模型，生成存在过拟合的编码网络以及解码网络的初始化参数，利用编码网络初始化参数自适应生成解码网络加权正则化约束，利用解码网络初始化参数自适应生成编码网络加权正则化约束。本发明方法通过此种交叉训练的方式保证编码网络与解码网络的独立性，以此提高唇语识别网络的泛化能力，进而在将本发明训练好的唇语识别模型应用于唇语识别时，能够提高对未知说话人唇语识别的鲁棒性和准确率。