本发明提供了一种多模态手势识别和视觉反馈机制结合的方法，本发明借助佩戴在头上的视觉传感器高清可见光摄像头、佩戴在用户上臂的肌电电极和佩戴在手上的运动手势数据手套，通过采集视觉图像/视频、瞬时高密度肌电信号和运动信号等多源数据，然后通过多模态手势融合识别方法，对用户手势动作进行综合识别。另外，本发明设计了交互领域中的三维交互反馈控制模型和手势交互视觉反馈机制模型，实现手势交互的视觉反馈，并提出视觉反馈方式运用的设计原则，模型规范形式，原则指导运用，确保视觉反馈能发挥最大的优势。