本发明涉及一种基于视觉指引的工程机械的控制系统及其控制方法，包括：视觉模块，跟踪工程机械的工作部件的工作进程、获取工程机械周边环境和工作目标位置；动作记录模块，对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并对工作动作进行分类；视觉引导模块，引导工程机械的工作部件向工作位置移动。