本发明公开了一种车损图像修改痕迹的识别方法，该方法包括：采集车损原始图像，对车损原始图像进行修改并标注修改痕迹类型，以获得训练样本集和测试样本集；提取训练样本集中的车损修改图像的噪声特征，生成车损噪声特征图像；对车损原始图像和所述车损噪声特征图像分别进行预处理，得到预处理后的车损原始图像和车损噪声特征图像；构建双通道卷积神经网络，将预处理后的车损原始图像以及车损噪声特征图像分别输入该双通道卷积神经网络以获得最终测试模型；利用该最终测试模型识别待检测车损图像的修改痕迹类型。本发明还公开了一种车损图像修改痕迹的识别系统。本发明的识别方法可以精确地提取车损图像特征并对车损图像的修改痕迹进行分类。