本发明公开了一种基于标签嵌入的鲁棒图像分类方法及系统，涉及模式识别技术领域，该方法包括：根据鲁棒图像分类器对目标图片进行分类，得到分类结果；鲁棒图像分类器是基于原始标签图像分类损失子函数、标签学习损失子函数以及新标签图像分类损失子函数训练得到的；原始标签图像分类损失子函数表示人像区域特征图对应的预测分类结果与人像区域原始标签分类结果之间的损失值；标签学习损失子函数表示人像区域原始标签分类结果学习人像区域新标签分类结果时的损失值；新标签图像分类损失子函数表示人像区域特征图对应的预测分类结果与人像区域新标签分类结果之间的损失值。本发明能够对存储在相册管理系统中的人物图片进行快速准确分类。