本发明公开了一种用于模拟虚拟人物说话的方法及装置，方法包括：步骤1：根据多个音素分类，制作与每个音素分类对应的口型，得到多个基础口型；其中，多个音素分类包括：(AA)、(OH)、(OU)、第一通用分类、第二通用分类；第一通用分类和第二通用分类内包括多个音素；步骤2：输入音频流，提取音频流的音频帧，识别音频帧的音素；步骤3：从多个音素分类中，确定与音频帧的音素对应的音素分类，选择与之对应的基础口型；步骤4：将选择的基础口型合成音频帧的对应口型。将真人口型通过音素分类，整理为5个基本口型，可以通过音素识别，驱动虚拟数字人口型同步。