本发明提供一种基于类激活映射和视觉显著性的图像情感分类方法，涉及计算机视觉和图像处理技术领域。该方法首先通过深度卷积神经网络提取图像整体特征，利用多尺度全卷积神经网络对图像进行显著性检测，进一步得到图像的显著性区域特征，同时仅仅利用图像级别的情感标签，通过类激活映射生成图像的情感分布图并提取情感区域特征。图像显著性区域特征和情感区域特征均视为图像的局部表示，将其与图像的整体特征进一步融合从而得到更具判别性的视觉特征并将其用于视觉情感分类。本发明不仅考虑图像整体信息，还充分利用了图像中重要的局部区域的信息，同时仅仅需要图片级别的情感标签，大大减轻了标注负担。