本发明公开了一种多感官数据记录系统，至少包括：计算机；听觉测试设备，与计算机连接，配置为生成音频信号；发声器件，与听觉测试设备连接，配置为将音频信号传入受试者耳朵；主机，与计算机、听觉测试设备连接，配置为根据音频信号生成文字信号；平板电脑，与主机连接，配置为显示文字信息以及供受试者应答操控；第一采集装置，与主机连接，配置为对受试者应答过程的动作以及视觉进行采集。本系统至少能够同时采集手势、视觉、听觉等数据以及相关性的数据并进行记录，用一种信号进行刺激同时获取手势动作、视觉和听觉等方面的反应数据，并对这些数据进行整合分析，用于判断受试者的意识或对信号的需求，最终得到多感官数据。