本发明公开了一种基于毫米波雷达和机器视觉的手语识别方法，首先通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息，然后采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；接着通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合，接下来根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧，最后通过预设神经网络对手部区域关键帧进行识别，得到识别结果。本发明的方法可以实现连续手语的识别，提高识别的准确率和实时性。