本发明公开了一种基于无人机视觉分析的施工人员跨越围栏检测系统，包括数据采集模块、数据整理模块、数据分析模块、控制器、图像监测模块、报警模块以及存储模块。所述数据采集模块通过无人机在施工现场上空拍取图片，从中选取1000张包含施工人员和围栏的样本图片，并人工标注出其中的施工人员和围栏位置，所述数据整理模块接收样本图片信息并对样本图片信息进行整理，构建目标检测训练样本，得到检测模型M。本发明首先利用轻量级的YOLOv3目标检测网络检测施工人员和围栏，然后通过跟踪施工人员的运动轨迹和围栏是否存在交点来判断施工人员是否存在跨越围栏违章行为，实现了在无人机上进行违章检测，提升了施工违章行为智能监测能力。