本发明提供一种电力杆塔作业围栏违规设置的检测方法、系统及设备，构建图像数据库，将获得的待检测图像进行标注后存入图像数据库；以杆塔上的工人为检测的目标，训练施工场景检测模型，并形成场景检测模型；以地面上的围栏为检测的目标，训练围栏检测模型，并形成围栏检测模型；以图片中的地面为分割的目标，训练地面分割模型，并形成地面分割模型；将施工现场采集视频流处理为图片，并将图片分别输入场景检测模型、围栏检测模型、地面分割模型中，判定是否存在违规行为。本发明减少施工现场中人工巡检作业的工作量，防止漏检情况的发生，避免因施工人员违规作业导致的安全事故的发生。