本申请提供一种视频解码方法及装置，涉及视频处理技术领域。待解码视频包括关键视频帧和非关键视频帧，所述方法包括：将待解码视频中的关键视频帧和非关键视频帧进行解码，得到待解码视频的解码图像；其中，当非关键视频帧中的帧内编码块没有使用帧内预测编码，或非关键视频帧中存在没有被帧内编码块作为参考对象的帧间编码块时，对非关键视频帧中满足上述条件的帧间编码块按照隔行帧间参考的方式进行解码。该视频解码方法无需丢弃不被参考的非关键视频帧，视频帧速率无损失，且由于存在视觉心理模型的原理，观看视频的主观体验也不会明显降低。进一步，采取隔行帧间参考的方式，使得解码时需要访问的数据量降低近一半，从而明显提升了解码速度。