本发明属于图像处理领域，特别涉及一种基于渐进式层级加权注意网络的细粒度行为识别方法，包括将采集到的图像进行预处理后输入预先定义的神经网络模型进行训练，训练模型是以Resnet50为骨干的4层渐进式网络组成，在渐进式网络第二层训练时，使用YOLO v5进行人体检测，将检测后的结果进行裁剪并插值，与原始图像相融合作为输入；在渐进式网络的第四层时，会将线性插值后的图像进一步细粒度特征提取，并裁剪填充，与原始图像融合后作为输入。本发明从细粒度分类的角度出发，融合父类和子类两阶段损失，并结合渐进式的思想，引入人体检测模型，提高了细粒度人体行为分类的准确率，改变了现有技术不能很好解决相似行为分类的现状。