本发明公开了一种视频或图像压缩中自适应扫描的方法和装置。不同类型的块的变换系数的扫描表预先设定或包含于视频码流中；编码器编码时根据不同类型的块，选用相应的扫描表来进行扫描；解码器解码时根据已经解出的不同类型的块，选用相应的扫描表来进行扫描。它允许对不同类型的块采用不同的扫描表，而且扫描表可以随着时间改变。当不同类型的块的视频特性分别发生变化的时候，可以分别生成新的扫描表，所使用的新生成的扫描表将作为视频码流的一部分，从编码端传输到解码端。解码端则根据码流中的更新方式信息解析并更新相应的扫描表。这一方法增加了扫描灵活性。本发明并不限于视频编码或图像编码领域，还可以推广至其他信号处理的应用中。