本发明公开了一种基于神经网络的司机异常行为检测方法，属于机器视觉、神经网络等技术领域。以视频作为输入，首先从视频中取出一个帧序列，序列中包含的信息对于后续步骤来说能够代表整个视频的信息；然后根据画面字幕信息中的车辆速度进行筛选，速度过小将直接返回结果，不进行后续识别步骤；接着通过定位画面中方向盘的位置进而定位出司机的画面区域，得到其位置信息，并根据得到的位置信息对帧序列中的每张帧图进行裁剪，只保留司机区域；接下来，使用深度卷积神经网络对每张帧图进行特征提取，并按帧图片的序列构建起一个特征序列，然后通过时间循环神经网络结合时间维信息的能力对特征序列进行行为识别。