本发明公开了基于通道注意力深度学习的医学图像分类系统，包括：获取模块，其被配置为：获取待分类的大脑结构磁共振成像，对获取图像进行图像分割得到待分类灰质图像；判断模块，其被配置为：对待分类灰质图像与已知健康对照组图像进行检验操作，判断出两组图像之间是否存在显著性差异，统计出具有显著性差异的体素坐标；特征表示模块，其被配置为：基于具有显著性差异的体素坐标，构建图像的特征表示；图像分类模块，其被配置为：对图像的特征表示，采用训练后的分类器进行分类，得到图像分类结果。基于对原始sMRI图像预处理提取特征结合深度卷积神经网络提高预测分类的性能。