本申请公开了一种自然语言处理方法、装置及计算机设备，涉及人工智能技术领域，可解决针对不同的自然语言处理任务，需要量身定做相应的模型，同时进行各种“魔改”，导致任务处理效率低、成本高，且通用领域模型表征能力有限，在垂直下游任务中拟合能力较差的技术问题。其中方法包括：根据预设训练任务对通用领域下的BERT模型进行增量预训练，得到自然语言处理模型，其中，预设训练任务包括字词级别的第一训练任务和任务级别的第二训练任务；获取待进行自然语言处理的文本数据，并对文本数据进行预处理，其中，预处理包括数据清洗处理、停用词滤除处理中的至少一种；将预处理后的文本数据输入自然语言处理模型中，获取自然语言处理结果。