本发明公开了一种融合目标检测和手势识别的驾驶行为识别方法及系统，属于驾驶行为识别领域，包括：在模型训练步骤中，收集驾驶行为图片和视频，对其中与第一不良驾驶行为相关的目标进行标注，得到目标检测数据集，并筛选出包含与第二不良驾驶行为相关的手势的视频帧，得到手势识别数据集；构建基于神经网络的驾驶行为识别模型，用于对输入图像进行目标检测和手势识别并融合，完成驾驶行为识别；利用两个数据集进行模型训练，得到目标驾驶行为识别模型；在驾驶行为识别步骤中，利用目标驾驶行为识别模型对待识别的目标图片或者目标视频中的各视频帧进行驾驶行为识别，以判断是否存在不良驾驶行为。本发明能够提高驾驶行为识别的识别精度和实时性。