本发明提出的一种基于深度学习的考生异常行为检测方法，属于图像分析技术领域。方法包括：对考场监控视频进行视频帧采样，对采样的视频帧标注考生和监考老师的边界框，并利用标注的数据训练目标检测模型；根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，利用标注的数据训练动作识别模型，并进行动作识别模型优化；使用目标检测模型对输入的数据进行目标检测，选择检测得分大于0.9的边界框进入动作识别阶段，通过动作识别模型对得到的边界框内的考生实例进行分类。本发明能够同时检测考生的位置信息和动作信息，有效提高了在考场环境下的异常行为检测的准确率。