本发明公开了一种基于类别损失和差值检测的多目标小物体识别方法，包括如下步骤：采集棋盘初始图像，标定棋盘图像坐标，根据坐标分割棋盘图像；对分割后的棋盘图像进行预处理，使用搭建好的深度学习网络模型对处理后的图像进行分类，将分类结果转换为棋局信息；采集棋盘图像P1，棋手进行一步行棋后，再次采集棋盘图像P2；根据棋盘图像P1和棋盘图像P2，采用差值检测方法对行棋的起点和终点进行合理性判断，更新棋局信息。本发明实现了对中国象棋从开局到每一步行棋的检测识别，具有速度快、鲁棒性高等优点，且受光线影响较小，并且可扩展至其他棋类的检测，在中国象棋对弈人机交互、普及人工智能方面具有重要意义。