本发明公开一种结合3D跃层连接和循环神经网络的人体行为识别方法，包括如下步骤：步骤1，将每段视频划分为N部分，从每部分提取L帧图片，N、L均为自然数；步骤2，利用训练好的3D卷积神经网络对视频进行时空特征提取，并将不同层次的时空特征进行串联连接得到高维特征向量；步骤3，对步骤2得到的高维特征向量进行规范化处理；步骤4，将步骤3中规范化处理后的高维特征向量送入循环神经网络，进行特征融合；步骤5，对步骤4中融合后的特征进行分类，得到视频对应的动作类别。此种方法不需要人工提取低层运动信息，相比人工运动特征设计方法，本发明具有更好的鲁棒性，同时能有效处理较长时间的视频信息。