本发明提出了一种船舶驾驶舱内非规范行为检测方法和系统，该方法包括通过图像采集设备获取船舶驾驶室画面并分割出不同的驾驶区域及驾驶者；对驾驶者进行身份识别，同时使用骨架识别网络对驾驶者进行关键点检测，生成关键点动作时序图；设计驾驶员行为的时序自动机识别模型，将关键点动作时序图进行时序匹配，并将匹配到行为实时输出。基于该检测方法，还提出了一种船舶驾驶舱内非规范行为检测系统，本发明基于逻辑序列的船舶驾驶舱内驾驶行为识别难题，有利于船舶驾驶舱内非规范行为的实时预警和制止，克服了传统动作识别系统依赖关键场景和关键物体的困境，能针对同一场景下的多个驾驶员分别进行跟踪和动作识别。