本发明公开了一种基于深度学习及龙芯派的对弈机器人系统及其对弈方法，该方法包括：拍摄棋盘状态图像，送入棋盘检测网络检测棋盘信息，并根据棋盘信息进行对弈人行棋状态判断；将输出的棋盘信息，转换成FEN码送入自升级云端决策网络，决策后给出行棋指令；将给出的行棋指令变换成三维坐标的移动指令，根据三维坐标的移动指令，利用机械臂移动逆运算算法，控制机械臂抓取和移动棋子。本发明通过系统可自主判断对弈人是否结束行棋，大大增强了人机交互性，自升级云端决策网络，提高决策速度，也通过自升级方法不断提高决策质量，具有人机对弈交互性高，行棋决策速度快、水平高，可支持的人机对弈系统体积小巧及便于移动携带的优点。