本发明公开一种基于多模态数据的设备生产智能规划方法，包括：1)对制造过程进行数据采集，得到多模态数据；2)对多模态数据进行标准化；3)对单个制造步骤构建训练集；4)对每个制造步骤的状态构建类别‑动作映射关系；5)构建并训练深度神经网络；6)用训练好的深度神经网络对每个制造过程中采集到的数据进行分类；7)根据分类结果选择相应动作；8)对每个制造步骤重复进行分类和动作选择，完成动作规划。本发明充分利用制造过程中收集到的多模态数据和深度神经网络，不仅可以识别每个步骤的当前状态，并根据当前状态进行动作规划，实现制造过程的动作智能规划，减少人工干预。此外，还可以增加动作规划的可解释性和准确性。