本发明涉及一种基于RGB视频和骨架序列的人体行为识别方法，属于计算机视觉和模式识别的技术领域，包括以下内容：第一步是feature stream对输入的视频片段进行特征提取，得到时空特征图；第二步是attention stream生成骨骼区域热图；第三步是通过bilinear提取骨骼区域的时空特征；第四步利用loal decision block生成局部决策结果；第五步利用decision fusion block对局部决策结果融合，得到全局决策结果。本发明使用Loal decision block和Decision fusion block这两个即插即用的模块实现决策融合，Loal decision block将每一个关键区域时空特征分别进行决策，Decision fusion block再将所有的决策结果进行融合，得到最终的决策结果。本发明在Penn Action和NTU RGB+D数据集上有效提升了行为识别的准确率。