本申请提供一种应用于监控视频的行为识别方法，包括：接收待识别视频；判断训练模型是否包含所述待识别视频对应的全部动作组；若是，将所述待识别视频输入至训练模型；在所述训练模型中，对所述待识别视频的帧差进行相应动作组的动作识别，确定所述待识别视频包含的行为动作。本申以动作组为单位进行相应动作的识别，同时以帧差为主要输入数据，并在训练模型识别时基于帧差信息对训练集进行数据识别，从而提高训练模型的鲁棒性，降低行为识别过程中对背景的依赖，降低动作识别过程中的冗余计算。本申请还提供一种应用于监控视频的行为识别系统、计算机可读存储介质和服务器，具有上述有益效果。