本发明是一种基于目标跟踪的螺丝计数方法及系统，该方法提出一种基于Lab颜色空间算法，融合平均颜色距离与子区域生长算法，实现螺丝物体前景与背景的快速分割，同时，该方法提出一种搜索框中心坐标的自适应移动算法，对图像每个像素的相似值进行加权平均，同时针对水平变速运动与竖直变速运动的差异性设置自适应阈值，实现中心坐标的快速准确迭代，达到螺丝目标的快速准确跟踪效果；该系统实现该方法。本发明相较于现有其他方法，能够对变速运动的刚性物体进行快速准确的跟踪计数。本发明有效提升了对变速运动刚性物体的计数能力，提高了计数精确度与计数效率。