提供了一种音频信号处理装置，从而能从其中包含多个声源的音频信号的2系统音频信号适当地分离多声源的音频信号。该音频信号处理装置包括：分割装置101和102，用于将每一2系统音频信号分割成多个频带；声级比较装置，用于计算在由分割装置分割的多个频带中的每一个中2系统的音频信号的声级比或声级差；以及三个或三个以上输出控制装置，用于提取并输出在声级比较装置处计算的声级比或声级差为预定值及其近旁的频带分量。由这三个或以上输出控制装置提取并输出的所述频带分量是其声级比或声级差为相互不同的预定值及其近旁的频带分量。