本发明公开了一种视频语义描述方法及装置。方法包括：获取图像序列，并利用残差网络提取每帧图像中图像特征，基于卷积门控循环单元根据当前帧图像和前一帧图像的图像特征提取每帧图像的时间和空间关联性；基于卷积门控循环单元，利用卷积门控循环单元中每帧图像对应的隐藏状态和视频内容计算每帧图像中不同视觉区域对不同词语的贡献度；根据所述不同视觉区域对不同词语的贡献度和对应的图像特征的高度和宽度的集合进行编码，形成视频帧的时空特征；重复将下一视频帧的时空特征、对应的词向量和隐藏状态输入至GRU中，获取语义，直至获取的下一视频帧的语义为结束标志位；将所有获取的语义进行组合，生成视频描述语句。