本发明为一种基于不规则四边形框的航拍视频多目标跟踪方法。本发明包括以下三个步骤：首先，整理制作不规则四边形标注的航拍视频帧数据集，包括训练集和测试集两个部分；然后，在通用深度学习目标检测模型的基础上进行改进，创建基于不规则四边形框的目标检测模型并训练至收敛；最后，结合卡尔曼滤波算法和组合优化算法完成多目标跟踪任务，并实现跟踪过程的可视化交互。本发明充分考虑到航拍视频帧中目标物体的多角度分布和形状不规则的情况，使用不规则四边形框进行目标跟踪能有效解决水平矩形框目标跟踪方法存在的定位不准和引入背景噪声过多等问题，可提高跟踪的精准度，具有更高的实用价值。