本发明提供了一种基于深度学习的手部关联车牌防伪方法及介质，方法包括：获取带有假车牌的图像数据，构建假车牌图像数据集；对所述实际的假车牌过车图像数据进行标注，标注出车牌外的异常矩形框，得到标注图像数据；构建车牌防伪识别模型，所述车牌防伪识别模型包括联合检测模型和逻辑判断模块，并通过标注图像对所述车牌防伪识别模型进行训练，之后将待识别的车牌图像输入训练好的模型中，根据IOU值的判断输出车牌识别结果。本发明利用恶意攻击所具有特征进行标注，将这些特征与车牌检测框进行关联，实现针对性的车牌防伪识别。