本发明公开了一种基于深度理解的桥侧坠落行为识别方法，利用一直监测大桥的摄像头捕捉到人员从桥侧坠落的信号并发出报警信号，使坠落者能够得到及时救援。系统在江面大桥上的摄像机中嵌入计算机视觉算法，其中包括人员翻越栏杆行为监测模块、人员坠落监测模块、坠落水花监测模块、人员漂浮检测以及救援区域预测模块。本系统通过前三个模块的交叉验证来判定是否有人翻越跨江大桥栏杆以及从桥侧坠落，若检测到，可及时进行报警并呼叫救援，防止错过最佳救援时间；利用后两个模块来预测落水者大致所在的位置并通知救援队，为救援工作创造便利。