本发明属于图像与视频处理技术领域，具体涉及一种基于改进时空卷积网络的唇语识别方法；该方法包括：实时获取视频数据，视频数据输入到训练好的基于改进时空卷积网络的唇语识别模型中，输出唇语识别结果；本发明在特征提取阶段综合利用视频流数据中局部静态空间特征和时序特征，提取出更有效的特征向量，尽可能的减少语言内容在视觉表征上的歧义性。本发明为唇语的识别提供更可靠、更有力的信息，提升了对于视觉歧义的鲁棒性，同时，通过将时序特征提取网络中的多个不同尺度的卷积操作前加入了一个维度控制层，减少特征图的大小，解决了网络的深度和宽度的问题，更适用于视频流数据的特征提取，具有良好的经济效益。