本发明属于视频监控计算机图像处理技术领域，涉及一种基于视频时序特征分析的泳池溺水行为识别方法，包括：S1、构建数据集；S2、对图像进行预处理；S3、构建神经网络模型，包括：构建特征提取部分、构建空间语义调制模块、构建时间语义调制模块、构建特征融合模块、构建行为判识模块；S4、训练构建的神经网络模型；S5、将采集的目标人员的游泳行为视频进行预处理，输入训练后的神经网络模型，判断该行为是否属于溺水行为；本发明将人体行为的空间信息特征和时序信息特征进行融合，能够实现实时处理图像信息，构建的神经网络模型计算收敛速度快，泛化能力强，具有较强的鲁棒性；该方法构思巧妙，对溺水行为识别的精度达到90％以上。