本发明公开了一种基于患者行为的多模态数据标注装置，包括数据采集设备、标注存储器及处理器，还包括预处理服务器、数据库服务器、AI协作服务器和多图半监督学习算法，该算法由预处理模块、审查模块、管理模块以及AI协作模块四个程序模块组成，旨在利用数据采集设备采集的多模态信息进行信息融合，之后通过融合数据的特征构建成图，然后通过融合图上进行半监督学习，在学习过程中实现患者行为多模态数据的自动标注。本发明克服了训练数据不足和数据冗余较大的问题，实现患者行为多模态数据的自动标注，极大地提高了标注精度。