本发明提供了一种基于多场景互动的多模态英语教学系统，包括服务器、交互终端、角色创建模块、场景切换模块、语言转换模块、交互模块和处理器，角色创建模块用于对互动的角色进行创建，以建立多角色的场景对话；场景切换模块用于对各个角色所选定的场景进行切换，以实现不同对话场景的语义和语境的表达；语言转换模块根据场景切换模块所设定的场景，将角色的语言进行识别，并将其转换为与设定场景匹配的语言；交互模块用于对多个交互终端进行配对，以实现对设备之间的交互控制；本发明通过采用动作采集模块用于对使用者的动作进行采集，使得使用者的动作能够被采集，并对创建的角色进行动作的控制或者传导动作。