一种数字信号处理装置，其包括主存储器、处理单元、高速缓存以及回旋缓冲单元(rotate－buffer)。主存储器至少具有R个记忆库以储存代表该数字信号的多个资料。高速缓存耦接于主存储器与处理单元之间。高速缓存至少具有R×R个记忆单元，用以储存主存储器中的部分资料，以提供处理单元运算所需的资料，以及暂存该处理单元的运算结果。回旋缓冲单元耦接于主存储器与高速缓存之间，用以缓冲各记忆库所输出的数据并作回旋位移，以输出至高速缓存；以及缓冲部分记忆单元所输出的资料并作回旋位移，以分别写回至对应的记忆库。