本发明公开了一种基于深度学习的斑马线礼让行人视觉检测系统及方法，该系统包括：参数配置模块，用于设置所述视觉检测系统的检测参数；通信模块，用于将设置的所述视觉检测系统的检测参数发送给信息采集及处理模块；信息采集及处理模块，用于检测并识别复杂交通场景下的行人、机动车目标，捕捉目标的行为并对捕捉到的行为进行判别。本发明能够在设定的区域内对行人、机动车等目标进行实时检测、追踪和识别，并根据行人及机动车的位置及时空行为，对机动车不礼让行人、机动车超速行驶等违反道路交通规范章程的行为进行实时的捕捉和判别，提高了交通监管的效率和准确性。本发明具有高效、准确、便捷、智能化程度高的特点。