本发明涉及一种面向语义保真的虚拟会议方法及三维虚拟会议系统，方法包括：根据语义概念树形语义架构；为树形语义架构中不同层级的每个语义概念，设置与之对应的默认信号；从多模态信号中提取参会者所处场景的语义描述并更新私有层级语义库；利用私有层级语义库更新公有层级语义库；服务器端向所有用户端发送公有层级语义库中的全部内容组成的层级语义描述，根据全部内容组成的层级语义描述在每个用户端更新对应的私有层级语义库；生成参会者视角中的虚拟会议场景；生成会议进行过程中参会者视角中的虚拟会议场景。本发明的方法解决了虚拟形象表情动作粗糙、会议场景不真实、人与场景难互动的问题，增加虚拟会议规模，提升参会的真实感。