本发明提供一种基于彩色约束项与字典学习的深度图像上采样方法及系统，通过获取由高分辨率深度图像和低分辨率深度图像构成的数据集；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于映射关系进行低分辨率深度图像上采样，可以获取边缘清晰、细节完整的高分辨率深度图像。