本发明提供了一种基于transformer的驾驶员分心检测方法及装置，属于驾驶行为分析领域，包括采集分心驾驶图像数据；搭建驾驶员分心检测模型FPT；将采集到的分心驾驶图像数据输入驾驶员分心检测模型FPT中，利用驾驶员分心检测模型FPT对分心驾驶图像数据进行分析，根据分析结果判断驾驶员分心状态。本发明在Swin，Twins等模型的基础上提出一种新的网络模型驾驶员分心检测模型FPT，该这种模型与深度学习模型相比弥补了深度学习模型只能提取局部特征的缺点，与变压器transformer模型相比，提高了分类的精度，并且降低了参数量和运算量；对整个网络的损失函数进行了调整，在交叉熵损失函数的基础上添加了标签平滑，增加分类的准确度，有效抑制过拟合，提高了检测精度。