本发明公开了一种手语实时转换为语音的方法，包括步骤一、采用摄像机采集手语者的视频数据；二、采用帧差法对手语者的视频数据进行识别并提取，得到关键帧；三、将关键帧输入到OpenPose系统中，提取出手语者的人体和手部的关键点坐标；四、坐标转换为数字特征信息；五、将数字特征信息划分为训练集和验证集；六、构建神经网络模型，将训练集输入到神经网络模型中进行训练，并通过验证集进行验证并更新，得到训练好的神经网络；七、将训练好的神经网络的手语识别结果实时转换为语音输出。本发明方法步骤简单，数据计算量较小，鲁棒性好，能够有效应用在手语翻译中，在满足识别精度的同时提升识别速度，使用效果好，便于推广使用。