本申请公开了一种车载环境下多模态情感数据采集方法及装置，包括：首先确定目标车辆上的待测车载人员；然后，当目标车辆在预设时间段采用预设范围内的车速，行驶在预设类型的行驶路况时，采集每一待测车载人员的产生的第一语音数据、第一视觉数据和第一生理数据，同时，当目标车辆处于停驶环境时，采集每一待测车载人员携带不同预设道具在执行预设流程时产生的第二语音数据、第二视觉数据和第二生理数据；进而可以将采集到的语音数据、视觉数据和生理数据与待测车载人员的身份信息进行关联并存储，用以进行多模态情感识别。由于本申请采集到了待测车载人员的生理数据，从而在将其作为情感识别依据后，能够提高对待测车载人员情感识别的准确率。