本发明公开了一种临床图像中病变区域的检测和分类方法，包括对原始临床图像进行预处理，得到全局图像数据集；将得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型中进行训练，检测图像中的可能病变区域；将检测到的可能病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；将全局图像数据集和包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。本发明方法更好的利用临床图像的多模态信息，结合原始图像的全局信息和病变区域图像的局部信息，进而提高分类的准确率。