本发明提供一种人流计数方法及其系统，属于图像处理技术领域。所述方法包括：对具有帧序的图像集合按帧序进行关于对象的检测，在图像集合中检测到具有第一对象集的第一图像时，在第一图像内获得与第一对象集相对第一图像的位置对应的第一局部向量，再在图像集合中具有第二对象集的第二图像内获得与第二对象集相对第二图像的位置对应的第二局部向量；根据第一局部向量和第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，获得第一对象集内对象的跟踪状态集合。本发明实现了高准召率的检测和跟踪并基于高准召率的检测和跟踪实现了高精度和高鲁棒性人流计数系统。