本发明公开了一种工人违规行为监测方法，通过设计了一种多尺度预测的目标检测模型，在4个尺度上对违规目标进行预测，得到违规目标的类别信息和位置信息。该方法使用2倍上采样率将深层特征与浅层特征进行融合，并从不同的尺度对目标进行检测，具有较高的准确率。另外，本发明所提出的方法会根据检测结果对存在违规行为的工人采取告警措施，并对检测出违规行为的工人进行跟踪，判断相邻两帧视频图像中存在违规行为的工人是否是同一个人，通过考虑时域信息，避免由于仅考虑单帧图像而导致的对同一个违规工人的一次违规行为记录多次，有利于管理人员对违规信息的处理，是一种更加精准的监测方法。