本实用新型提供一种基于视频的闯红灯检测系统，所述的系统包括：全景摄像机、近景摄像机和视频数据联合处理装置。其中所述视频数据联合处理装置分别与所述的全景摄像机和所述近景摄像机相连接。所述的视频数据联合处理装置包括视频采集单元、信号灯状态检测单元、全景闯红灯车辆检测单元、近景闯红灯车辆检测单元、全/近景视频数据佐证单元、闯红灯数据输出单元。本实用新型通过将车辆闯红灯信息的全景视频和近景视频进行联合处理，提高了闯红灯图像证据的有效性。同时由于通过视频检测信号灯的状态，故不用接入红绿灯信号。