本申请公开了一种无人机视角下端到端的人员动作识别方法、设备及介质，包括：构建并训练人员动作识别网络模型；该模型包括特征提取网络、人员目标检测子网络、多目标跟踪子网络和人员动作识别子网络；将待测图像输入至该模型中，利用特征提取网络进行特征提取，提取到的特征图由三个子网络共享；利用人员目标检测子网络以包围框检测出当前帧中的目标；利用多目标跟踪子网络根据目标的外观特征向量和包围框进行帧间多目标跟踪；利用人员动作识别子网络整合同一目标在不同帧之间的运动信息，识别该目标在当前帧的动作类型。这样将检测、跟踪、识别这三个子任务集成到同一个神经网络中，避免大量重复的特征提取计算冗余，达到实时行为识别的效果。