本发明公开了一种人机交互的多模态数据融合方法，该方法包括：获取智能生产线的人机物要素信息和多种输入模态数据；基于人机物要素信息，从交互层次、空间跨度和业务类型三个维度构建建模表征空间；基于人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建建模基准；定义各类要素的交互规则，构建人机交互行为抽象模型；根据人、机、物各类要素的时间特性构建决策信息系统；通过人机交互行为抽象模型提取多种输入模态数据的数据特征；通过决策信息系统生成多种输入模态数据对应的决策；通过混合融合的方法将传感数据、数据特征和决策进行融合。本发明能够对人机交互的多层次交互进行抽象和结构化描述，以实现多模态数据的有效融合。