本申请涉及一种施工作业行为检测系统和方法。该系统包括：第一监控装置，用于采集待检测对象的第一现场图像；第二监控装置，用于采集待检测对象的第二现场图像，第一监控装置和第二监控装置的采集视野不同；处理器，分别与第一监控装置、第二监控装置连接，用于根据第一现场图像确定待检测对象的动作特征，根据第二现场图像确定待检测对象的穿戴特征；以及根据待检测对象的动作特征和穿戴特征，确定待检测对象的施工作业行为。从而能够通过图像识别的方式，判断待检测对象的动作和穿戴，进而判断待检测对象的施工作业行为，无需人工进行监管，效率更高并且识别的更加精准，提高了施工作业的安全性。