基于计算机视觉的手语翻译方法和系统，获取聋哑人员的肢体动作，将肢体动作形成预设帧率的待翻译视频；对待翻译视频进行每帧图像的动作抽象，形成动作二进制数据矩阵；对相似性在第一预设阈值范围内，且时间维度在第二预设阈值范围内的帧判定为同一动作，将不同动作之间的帧判定为连接动作；将同一动作和连接动作进行手语翻译获得对应的文本内容。同时还可以将手语翻译获得的文本内容进行语音合成；将对文本内容合成的语音向倾听对象进行播放。本发明解决了手套手环等原有技术在获取手势数据时的局限性，解决这类技术的先天不足，能够识别更多的手势，同时个体差异性小，准确率高；本发明不需要使用额外的设备，增加使用场景，降低成本和费用。