本申请公开了一种非机动车行为识别方法，包括：基于目标检测算法和目标跟踪算法对视频图像中的非机动车目标进行追踪检测，得到跟踪轨迹；根据抓拍条件对所述跟踪轨迹进行图像保存，得到多个抓拍图像；根据信号灯状态对所述多个抓拍图像进行行为识别，得到行为识别结果。通过目标检测算法和目标跟踪算法对视频图像中的非机动车目标进行追踪检测，得到跟踪轨迹，提高对非机动车进行跟踪的准确性，进一步的根据保存的抓拍图像进行行为识别，得到行为识别结果，实现对非机动车进行高精度的行为识别。本申请还公开了一种非机动车行为识别装置、服务器以及计算机可读存储介质，具有以上有益效果。