本发明涉及一种使用图像标签辅助识别商品的方法及其方法。该方法包括S1)上架阶段：通过智能货柜的后台管理系统设置SKU与标签的关联，并将其关联关系应用到各智能货柜中；S2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与SKU的关联关系将该标签转换成SKU；S3)结算阶段：结算系统根据识别出的SKU生成购物订单，进行结算。本发明的技术方案中深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种SKU进行图像采集和标注训练的工作，节省了采购SKU的成本和人工标注成本。