本发明涉及一种匈牙利算法下基于空间约束的成本矩阵优化方法，首先获取保存好的所有被跟踪目标的外观特征向量集合，然后获取该帧中所有行人检测的结果，并将他们结合构造初始的成本矩阵；接着根据之前被跟踪的目标的信息利用卡尔曼滤波来估计该目标的当前位置，根据估计位置和检测结果的相对关系来修改成本矩阵的权重，用于后续的指派任务；最后利用匈牙利算法获得成本矩阵的最优指派，据此将检测结果进行分配，并且更新和保存被跟踪目标的外貌特征。本发明能够根据视频场景来有效改善匈牙利算法的匹配效果，去除一些不合理的匹配。