本发明提供了一种基于多模态分析的多感官车载交互方法及系统，包括：通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据；实时解析所述驾驶员的多模态源数据，提取多模态源数据中的特征向量；将多个特征向量进行拼接并转换到同一维度，得到处理后数据；将处理后数据输入BP神经网络进行训练，判定驾驶员的实时状态；根据驾驶员的实时状态，主动为驾驶员提供相应的交互服务。本发明通过采用多模态信息处理手段，可以综合判断驾驶员实时状态并提供主动式交互服务，提高理解用户情绪、意图的准确度；通过BP神经网络训练模型，实现车载交互系统的自我优化。