本发明实施例提供了一种基于深度学习的样本库建立方法和装置，所述方法包括：训练云样本获得云检测模型，对样本进行筛选和处理后形成高质量样本库；对样本进行增广；对样本训练得到第一解译模型；对样本库中的样本进行解译并计算像素精度，满足要求的样本作为新样本库并进行增广，将增广获得的样本加入新样本库；对第一解译模型迭代优化得到第二解译模型；对未经预处理的样本解译并计算像素精度，对满足要求样本增广获得自然资源样本库。本发明相对现有技术，通过HRNet网络有效保留图像的几何信息，实现多尺度特征整合，增强了上下文特征提取能力；在建立样本库过程中能同时实现对样本的自动增广，通过深度学习提高模型的精度和样本质量。