本发明公开了一种基于模态匹配的连续手语语句识别方法，将手语语句的彩色视频和光流图像序列的关键帧和目标词语片段序列作为输入，通过基于模态匹配的连续手语语句识别模型，将手语语句的彩色视频和光流图像序列的关键帧片段序列与语义匹配对齐，得到最终的语义序列。本发明公开了一种基于模态匹配的连续手语语句识别模型，用轻量的特征提取网络，减少其参数量，针对手语数据集进行任务特定性训练，在数据集中样本的标注较少的情况下对连续手语语句进行识别，减少了在传统手语识别方法中对人体姿势信息高度依赖的问题。