本发明公开了构建梯度提升决策树GBDT模型的方法及装置，涉及机器学习技术领域，主要目的在于解决现有的所训练的决策树模型的准确率较低的问题。本发明主要的技术方案为：获取样本数据集，所述样本数据集中包括带正标签的正样本数据及无标签的未标记样本数据；在训练GBDT模型的每一棵回归树时，基于所述样本数据集中的正样本数据构建一个正样本训练子集，对所述样本数据集中的未标记样本数据进行采样构建一个负样本训练子集，将所述正样本训练子集与所述多个负样本训练子集进行组合得到当前回归树的训练集，并基于所述当前回归树的训练集训练当前回归树，再根据所述每一颗回归树构建梯度提升决策树GBDT模型。本发明用于对梯度提升决策树的构建过程中。