一种基于图像处理的驾驶行为记录管理装置，包括图像采集模块用于采集车辆行驶过程中的驾驶行为，图像处理模块用于检测车辆在行驶过程中产生的不文明驾驶行为，数据模块用于存储存驾驶过程中的数据信息，计时模块用于记录不文明驾驶行为产生的时间，轨迹检测模块用于检测行车过程中的轨迹是否符合交通规则，报警模块用于装置检测出违反交通规则的驾驶行为时向处理模块发送报警信息，处理模块接收到报警信息后向驾驶员提醒并通过通信模块上传至云服务器，云服务器用于实时同步车辆在行驶过程中的所有不文明驾驶行为。本实用新型能够方便交通警察实时监控、记录、上报、汇总并处理违反交通规则的不文明驾驶行为，提高驾驶的安全性。