本发明公开了一种基于时序差分的深度强化学习算法，用以求解相关并行机的混合流水车间调度问题，该算法将卷积神经网络与强化学习中的TD学习进行结合，依据输入的状态特征进行行为选取，更加符合实际订单响应式生产制造系统的调度决策过程。通过把调度问题转化为多阶段决策问题，用卷积神经网络模型拟合状态价值函数，把制造系统加工状态特征数据输入模型，采用时序差分法训练模型，将启发式算法或分配规则作为调度决策候选行为，结合强化学习奖惩机制，为每次调度决策选取最优组合行为策略。与现有技术相比，本发明提出的算法具有实时性强、灵活性高等优势。