本发明公开一种基于迁移模型的小样本茶叶图像分类方法，该方法首先利用摄像头采集茶叶图像构建茶叶图像分类数据集，然后构建迁移模型，并利用茶叶基类图像数据基于交叉熵损失函数与监督损失函数的加权和利用梯度下降法对迁移模型进行训练，最后将迁移模型中基类分类器、旋转预测分类以及Softmax层移除，使用原型分类器完成小样本茶叶图像分类测试。本发明在卷积神经网络训练过程中引入自监督任务提高模型的迁移性，将此迁移模型应用到小样本茶叶图像分类任务中，能够提高小样本茶叶图像分类识别的性能。