本发明公开了一种基于视频分析的车辆跟踪方法和系统，属于安防监控领域。包括：从目标帧图像中选择目标车辆，提取目标车辆的特征向量、摄像头桩号和时间戳；对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆。本发明通过局部池化检测重叠车辆，非极大值抑制实现定位框优选，使得重叠车辆分离。将表达局部特征的第一特征与表达全局特征的第二特征融合，实现高环境鲁棒性的特征提取。利用车辆行驶轨迹获取漏检，基于梯度下降调整阈值，实现算法自适应。