本发明公开了一种基于高光谱与太赫兹数据深度融合的分类方法，包括以下步骤：S1：对样本进行高光谱成像数据采集；S2：对样本进行太赫兹成像数据采集；S3：高光谱与太赫兹数据分割，得到每个样本的高光谱与太赫兹数据，并构建样本训练集与测试集；S4：构建高光谱与太赫兹深度融合分类网络；S5：构建高光谱与太赫兹深度融合分类网络损失函数：S6：采用梯度下降方法训练高光谱与太赫兹深度融合分类网络；S7：利用训练好的高光谱与太赫兹深度融合分类网络，采用输出融合策略对测试集进行预测。本发明采用深度卷积网络进行高光谱成像与太赫兹成像传感数据融合、多分支交叉融合、特征与输出双重融合，提升了分类模型的精度与健壮性。