本发明涉及违规行为检测领域，具体公开了一种施工违规行为检测模型的构建方法及其应用，包括：对原始图像样本集中的图像进行相似度配对，并对每组图像对进行前景交换以及对交换后的所有图像进行风格渲染，得到扩展图像样本集；基于原始图像样本集和扩展图像样本集，训练单阶段目标检测网络，其中在训练时根据图像上文信息以及检测网络中的类别预测分支和位置预测分支的预测结果对网络参数进行调优，最后基于构建的违规行为检测模型进行违规行为的检测。本发明对原始样本进行配对相似度增强，极大提高训练样本规模以及模型训练精度，另外在训练时考虑上下文信息，通过对网络添加上下文信息对其正则化，极大提高目标检测的准确率。