本发明公开了一种基于多尺度行人检测的目标跟踪方法，涉及智能视频监控、计算机视觉等领域。包括以下步骤：首先在经典检测算法SSD的基础网络中叠加一系列卷积预测块，使之能检测尺度不同的候选行人目标，然后采用卡尔曼滤波算法迭代地预测和更新行人目标的运动状态，并且结合目标表观特征、运动特征及形状大小特征，构建融合关联矩阵以计算总的相似度，最后采用匈牙利算法进行行人目标和运动轨迹的关联，实现多目标行人跟踪。本发明所提方法针对视频中行人目标尺寸大小变化以及相互遮挡等特点，以改善多目标行人跟踪效果为目的，有效地降低了由目标相互遮挡导致跟踪失败的比率，可以应用于智能视频监控等领域。