本发明公开了手语识别领域的一种基于机器视觉的手语识别方法，包括根据待识别的手语视频构建上肢骨骼数据；获得包含上肢且无背景的检测图像；计算得到检测图像的像素特征以及上肢骨骼数据的骨骼特征；通过卷积神经网络分别对像素特征和骨骼特征进行提取，得到像素识别特征和骨骼识别特征；根据像素识别特征、骨骼识别特征获得识别向量；再将识别向量输入softmax层获得结果向量，结果向量中值最大的元素对应的手语词汇为识别结果；本发明通过识别双臂的移动和位置特征，增加了手语识别的范围，提高了手语识别的精度。