本发明公开了基于深度学习的视频行为识别安防系统，包括：图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端，通过图像采集处理模块获取儿童在攀爬网上的实时图像和深度图，通过卷积神经网络识别算法识别图像，通过目标图像获取模块获取儿童骨骼关节点二维图像，通过静态分析模块对关节点进行定位，分析提取儿童至攀爬网边缘的相对距离，通过动态趋势预测模块获取部分关键关节点，依据部分关键关节点的变化轨迹预测儿童的攀爬移动方向，通过危险警报模块在预测到儿童有坠落可能时发出警报信号，实现了儿童安全监测目标，提高了攀爬安全性。