本发明公开了一种基于光流点的视频目标跟踪方法，采用直线逼近法粗选目标图形的边际标记点集，使用ORB算子检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集，同时识别目标图形的灰度梯度，将边际标记点集与初始关键点集进行重合比较，加权获得重点光流点，随后继续取第二帧到第六百帧重复步骤，构建初始特征库，进行目标追踪时，初始特征库抓取当前追踪帧中的重点光流点，采用金字塔Lucas‑Kanade光流法进行前向光流和后向光流评估，随后使用ORB算法检测并描述当前帧视频图像，得到关键点集，再经过三组三点定位构型来与初始特征库复向查验完成追踪及确认定位，本发明的优点在于将光流法追踪与RGB灰度追踪定位有效整合，有效减少了计算量。