本发明公开了一种基于异策略强化学习的匝道协调控制方法，以迭代方式使用离线交通数据训练强化学习智能体，而不是与交通模拟器交互。在每次训练迭代中，收集历史交通流数据并将其输入学习算法以更新控制策略。在迭代初期，当历史交通流数据量较少时，使用宏观交通流模型METANET来生成合成交通流数据。这使强化学习能够探索到可能导致更好的交通性能的新动作。为了保证训练迭代的可行时间，快速道路被分为若干单点控制区域，每个单点控制区域对应于单点匝道控制系统，以保持低维度的状态和动作空间，从而可以充分探索控制动作。随着探索更多的控制动作和利用更多的训练数据，最终得到匝道协调控制的最优策略。