本发明公开了一种基于多通道音频采集装置的手势交互系统及方法，包括集成至少一个超小型无线音频采集单元的传感器模块、信息处理模块和交互、渲染与显示模块，基于音频信号得到特征数据，并采用域自适应神经网络模型进行识别，识别目标手势。用户通过在手腕佩戴或将超小型音频采集模块放置在交互平面可以快速、准确、舒适的实现对虚拟物体的控制、手势识别以及文本输入等功能，将双手直接转化为交互平面，增强了交互系统的性能和效率，提供了一种高效、自然、舒适的新方法。本发明不仅可以适用于移动手机、桌面电脑等老式电子设备，也可以满足VR、AR等新兴电子系统的交互需求，可以将多种平面快速转化为交互区域，提高用户的交互效率。