本说明书实施例提供了一种建立分类模型的方法及装置。其中方法包括：首先获取待分类数据样本，并获取所述待分类数据样本对应的分类标签样本；然后将待分类数据样本及其对应的分类标签样本作为训练样本以构建训练集和回测集，所述训练集和所述回测集均包含多个训练样本；利用所述训练集训练分类模型；从所述回测集中选择对训练得到的分类模型产生满足预设要求的效果增益的训练样本；再获取对选择的训练样本中的待分类数据样本进行人工标注之后得到的分类标签样本，将所选择的训练样本中的待分类数据样本及其人工标注的分类标签样本构成新的训练样本加入所述训练集，转至利用所述训练集训练分类模型的步骤，直至达到预设的结束条件。