本发明针对目前双流网络由于时序分支中光流计算开销的限制，训练时间过长的问题，以及，由于多光源、阴影、遮挡等原因，计算出来的光流场并不一定是可靠；时空域特征建模完全分离，在网络最后的融合可能不充分的问题，提供一种基于特征谱流的行为识别方法，使用特征谱流替代光流作为时间3D卷积网络的输入。对行为视频流进行1x1卷积生成每帧的特征谱，再依次对各帧的特征谱进行3x3卷积，依次将相邻两帧中前一帧特征谱3x3卷积结果与后一帧特征谱在像素维度上相减，根据相减结果生成特征谱流中的一个谱。特征谱流具有更强的鲁棒性，使得本发明在显著减小存储和计算开销的情况下取得更佳的识别效果。