本发明提出了一种基于累积迹强化学习的多机器人协同搜索方法，对智能体访问过的状态动作对进行记录，累积每个动作状态对的访问次数，引入玻尔兹曼分布方法，设计基于累积迹的探索方式，另外本发明通过加入基于累积迹的额外奖励的方式，来引导智能体进行探索。本发明通过加入基于累积迹的额外奖励的方式，来引导智能体进行探索，是以强化学习算法作为主体算法，在强化学习算法基础上进行改进，能够和任意强化学习算法进行结合，提高了强化学习的学习效率，实现多机器人在复杂环境下高效地协同探索。