本发明是一种基于FPGA的动态目标跟踪系统及其检测方法，由CMOS摄像头采集实时视频数据，VDMA进行图像缓存，接着在可编程逻辑PL端进行数据处理：帧差处理模块通过相邻两帧图像完成目标检测，同时进一步处理图像数据，在图像中画出运动物体的最小外接矩形；接着建立数学模型，对帧差处理模块得到的数据结果进行有效帧判定；若判定结果为真，由舵机控制模块计算出二自由度舵机转动至目标位置所需PWM波占空比，并通过串口通信传输至舵机驱动板，同时更新有效帧判定模块中模型数据；若判定结果为否，对接下来的视频数据重新进行计算；显示模块输出处理后的图像数据；实现提高图像处理速度，实时跟踪动态目标，并减少画面内其他物体的干扰影响。