本发明涉及船用设备领域，公开了一种基于视觉识别的船舶自动靠岸停靠系统及停靠方法；所述基于视觉识别的船舶自动靠岸停靠系统由视觉识别系统、挂式防撞支架、传动装置和自动对接卡爪组成；视觉识别系统包括布置于船周的视觉摄像头、船侧的吃水捕捉标识和船尾的加速度传感器；传动装置与自动对接卡爪安装于挂式防撞支架。其中，传动装置可改变自动对接卡爪的位置，自动对接卡爪通过电磁铁及连杆装置实现抓取与分离。本发明通过视觉识别系统计算出船舶坐标位置及所需输出功率以规划船舶行驶路径并控制船舶速度，再配合自动对接装置调整卡爪横向和垂向坐标，令尾部自动对接卡爪精准扣住岸边对接装置，实现船舶自动靠岸与系泊。