本发明提供一种音频解码装置，能同时解码和再现多个压缩音频流，而没有声音中断，即使当每帧的样本数不同时，音频解码装置包括第一和第二音频解码器，解码两个输入的压缩音频流以及输出音频数据；暂时保存输出音频数据的第一和第二中间缓冲器；将音频数据转换成音频信号以及输出这种音频信号的第一和第二音频输出单元；从第一和第二中间缓冲器读取音频数据以及将音频数据传送到第一和第二音频输出单元的的输出控制单元。输出控制单元重复从第一和第二中间缓冲器到第一和第二输出单元的相同音频数据样本数或相同传输时间量的音频数据的样本数的读取和传输。