本发明实施例提供了一种图像中局部特征分类方法及系统，方法包括：基于卷积神经网络，提取待分类图像的图像特征；对所述图像特征进行分块降维，得到分块像素特征；基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；对所述优化图像特征进行局部特征分类，得到分类结果。本发明实施例通过主成分分析得到的权重对分块像素特征进行加权，进而得到优化图像特征进行局部特征分类，有效降低了局部特征分类在训练时所需的样本数据量，避免了大量标注导致的高昂人力成本，优化了局部分类效果。