本发明提供了一种用于分离音频信号的装置，该装置可以解决在通过独立分量分析分离多个混合信号时的置换问题。提供了一种音频信号分离装置，用于通过独立分量分析将多个包括音频信号的信号的混合体构成的时域内的观测信号分离为独立的信号以产生隔离信号，该装置包括：第一转换部分，用于将时域内的观测信号转换为时－频域内的观测信号；分离部分，用于从时－频域内的观测信号中产生时－频域内的隔离信号；以及第二转换部分，用于将时－频域内的隔离信号转换为时域内的隔离信号，该分离部分适于从时－频域内的观测信号和被初始值代替的分离矩阵中产生时－频域内的隔离信号。