一种面向工人违规使用手机的深度视觉手机检测系统，包括网络摄像头、AI网络摄像头、算法服务器、集中集中管控服务器以及工地监控客户端；网络摄像头和AI网络摄像头都部署在工地现场；网络摄像头所拍摄的图片传入算法服务器进行检测，并将检测结果传入集中管控服务器；AI网络摄像头直接将拍摄的图片在本地处理，再传入集中管控服务器；在监控客户端上得到来自网络摄像头是实时检测结果以及来AI网络摄像头的自违规的记录情况。本技术方案的提出的检测系统，采用针对打手机的智能识别算法，节约监督人员人力成本，提高监督效率，覆盖更广的监督范围，更能精确的监控到工地工人作业时使用手机行为，加强安全管控。