本发明公开了一种基于机器视觉的智能车编队控制系统及其控制方法，以实现智能车按期望的队形执行特定编队任务，整个系统包括一个上位机，以及多个智能车构成的智能车组模块，每个智能车设置有定位模块、网络通信模块、控制算法模块。其中定位模块通过传感器采集信息，完成智能车定位以及建立位置结构网络模型；网络通信模块完成智能车与上位机以及智能车之间的数据交互及共享，建立通信拓扑；智能车组模块由多个差动轮式智能车构成，用以实现特定的编队任务；控制算法模块包括一致性算法和避障算法，使得智能车能按照特定的队形完成编队任务。本发明利用机器视觉实现智能车编队控制，具有适应性强和可移植性高的优点。