本发明涉及智能语音处理领域，针对现有的语音合成、识别等智能语音的处理中需要获取海量训练数据来训练、情感类训练数据质量较差处理困难、计算复杂且语音处理效率低等缺陷，提出了本发明语音处理方法、系统、装置及介质，旨在解决如何基于多模态算法模型实现语音处理，进而如何简化训练数据的获取难度和数量并降低计算复杂度，以及如何有效处理复杂数据提升数据质量和提升语音处理效率的技术问题。为此，本发明的方法利用多模态训练数据训练多模态模型并将不同模态的数据输入训练后的该模型中合成对应的每个用户的情感音频，无需高难度的数据获取和处理，简单、成本低、效率高、合成结果好。