本实用新型涉及双模态识别技术领域，特别涉及一种人脸及手型手势的双模态识别系统，包括视频图像处理前端和控制后端，视频图像处理前端包视觉图像处理模块、视觉图像采集摄像头、红外感应传感器、触摸屏、电源模块和4G通讯模块，视觉图像采集摄像头通过导线与视觉图像处理模块连接，用于采集用户的手形手势特征和脸部图像信息，并将图像信息转化为标准信号输出给视觉图像处理模块；红外感应传感器通过导线与视觉图像处理模块连接，输出触发电平信号到视觉图像处理模块，通过视觉图像处理模块控制视觉图像采集摄像头工作。本实用新型能够识别人脸及手型手势，控制门禁或家居设备的工作，提高门禁或家居设备的使用准确性和便利性。