本发明涉及一种自适应运动向量检测系统，包括：向量检测设备，用于基于当前使用帧数选择从当前时刻的采集图像帧对应的目标区域起到之前的数个采集时刻分别对应的数个目标区域共计当前使用帧数的多个目标区域以执行对当前时刻的采集图像帧对应的目标区域中各个运动目标的各个运动向量的检测；编码执行设备，与向量检测设备连接，用于基于检测到的各个运动目标的各个运动向量对当前时刻的采集图像帧对应的目标区域进行编码。本发明的自适应运动向量检测系统原理可靠、方便操控。由于在场地图像的清晰度和对象数量的智能化检测的基础上，自适应设定执行对场地图像中运动向量检测所需要的图像帧的数量，从而兼顾了编码运算量和编码可靠度。