本发明一种连续手语识别方法，涉及用于识别图形的记录载体的处理，是基于对多模态图像序列特征融合和自注意力机制的编码解码网络的连续手语识别的方法，首先获得光流图像序列，通过原始手语图像序列和光流图像序列时空特征的提取和多模态图像序列时空特征融合，和手语句子标签的文本特征序列的提取，将融合后的多模态图像序列时空特征和提取的手语句子标签的文本特征序列输入到基于自注意力机制的编码解码网络中进行手语标签预测输出，克服了现有技术存在的特征单一、视频需要分割的缺陷。