本发明公开了一种视觉机器人抓取系统及其控制方法。该系统包括工控机主控制系统、机器人从控制系统、视觉系统与抓取系统。方法为：视觉系统通过相机拍摄的图像自动获取物体的位置信息，决定机器人末端抓取系统的抓取位置；同时视觉系统的图像处理方法根据观察到的图像中被抓取物体形状和摆放的状态，决定抓取工具的姿态，最终成功抓取随意摆放的工件。本发明可以应用于抓取不同尺寸的工件和适应不同的工业自动化生产场景，简化工作编程的复杂性，提高机器人的应用范围和实际生产中的工作效率；在仅有视觉传感器作为输入时，能够在多个物体中对指定物体执行自适应抓取，也可完成对移动物体的视觉追踪，实时性强、检测率高、鲁棒性强，通用性好。