本发明属于隧道安全施工领域，提供了一种基于视频信息行为模式识别的施工安全判别方法及系统。其中，该方法包括获取设定工作区域内人员的彩色图像和深度图像以及隧道施工效果图；提取彩色图像中的人脸特征信息并与预设人脸特征模板的匹配程度来确定人员身份，进而跟踪人员来判断已确定身份的人员是否离开正常工作区域；提取已确定身份的深度图像中的人体骨骼节点信息，并基于行为判别模型识别出人员行为，进而与违规信息库中的违规行为进行对比，实时判断人员的违规行为；基于隧道施工效果图及施工效果检验模型，实时判断当前隧道施工是否符合预期方案。