本发明提供的一种基于行人视频分析的安全过街智能控制系统及控制方法，包括摄像机、路测感知设备、智能斑马线、智能斑马线控制机、交通信号灯以及交通信号控制机；接入摄像头拍摄的行人等待区域和斑马线区域内的行人视频，对行人视频中各等待区域和斑马线区域内的行人进行检测跟踪，根据行人检测跟踪信息确定各行人等待区域和各斑马线区域内的行人状态，并将行人状态分析结果推送至智能斑马线控制机和交通信号控制机，以控制各交通信号灯和各智能斑马线的工作状态。本发明基于对交叉路口等待区域和斑马线区域的行人视频分析，实现了交通信号灯调优和行人安全过街警示，有利于调节交通流、缓解交通拥堵、提高道路的利用率。