本发明属于计算机视觉领域，提供了一种基于鲁棒软标签的深度适应网络的构建方法。本方法通过最大化预测概率矩阵的核范数，在滤除噪声概率的同时保留重要的概率，从而产生一种新的标签形式，然后将新的标签形式以概率加权的方式重新表述标签诱导损失，如CMMD、类内距离和类间距离。本发明证明了经过核范数约束的鲁棒软标签相比于传统的硬标签和软标签拥有更可靠的表征能力，以概率加权的方式重新表述标签诱导损失也被证明是可解释性和合理性更强的损失函数建模，从而解决了传统硬标签和软标签在建模标签相关损失时偏差过大的问题。