本发明涉及人工智能领域，具体涉及一种基于多模态感知的人力资源评测系统。该系统包括：信息获取模块，用于获取面试者在面试过程中的音频信息和视频信息；能力评分获取模块，用于将从音频信息中获取能力评分；特征获取模块包括视听权重图获取单元和特征序列获取单元；视听权重图获取单元用于获取视听权重图；特征序列获取单元用于获取总词数量、平均说话率和平均流利度；面试状态获取模块用于将预设时间段内的声谱图、视听权重图、特征序列和关键点序列输入多模态神经网络中获取面试状态；能力评估模块，用于根据面试状态评分和能力评分评估面试者的岗位胜任能力。该系统解决了每个面试官对面试者的岗位胜任能力评估存在主观偏见的问题。