本申请提供一种增量学习方法、装置、电子设备及机器可读存储介质，该方法包括：在增量训练的过程中，依据所述初始模型初始化增量模型，得到初始化后的增量模型；依据增量训练数据以及所述初始训练数据，对所述初始化后的增量模型进行训练，得到训练后的增量模型；其中，在增量训练过程中，依据正则策略对所述初始模型和所述增量模型进行正则约束；所述正则约束包括特征层面的正则约束和/或参数层面的正则约束。该方法可以缓解增量学习过程中旧知识的遗忘。