本发明公开一种基于多模态特征调节与嵌入表示增强的手势识别方法，包括采集三种不同模态视频和音频，并对视频和音频进行预处理；提取经预处理的视频的图像特征，调节所述图像特征，获得视频表示；提取经预处理的音频模态的音频特征，基于所述音频特征提取音频表示；在视频表示和音频表示上施加triplet约束，构建音频表示和视频表示的关联，获得基于音频模态的手势表示和基于视频模态的手势表示；同时，将视频表示和音频表示还进行联合训练，获得预测手势概率分布，识别手势。本发明通过各视频模态特征之间的相互调节得到冗余性较小的视频表示，加入音频模态有效融合来自音视频模态知识，使网络能得到强判别特征，对手势进行自动准确识别。