本发明公开了一种基于点对点的运动目标检测与跟踪方法，包括如下步骤：计算得到当前图像的帧间二值图；计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；如果当前帧和上一帧存在白点的区域均大于干扰阈值，则物体运动且镜头持续运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹；控制摄像机根据运动轨迹对物体进行跟踪。该方法有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题，对运动物体的跟踪快速准确。