本发明公开了一种声音识别装置及其方法，是为了正确识别使用者声音，它包括接受AV系统的回音、使用者声音、杂音的等声音，根据使用者声音的相关情报，从上述接受的声音消除回音的回音消除部、从上述接受声音检出使用者声音，根据检出使用者声音，生成上述使用者声音相关情报的声音检出部、为了识别上述检出的使用者声音，将上述检出的使用者声音与至少一个模型中包含的声音模式进行比较的声音识别部。本发明根据核心语的确率和非核心语的确率之比识别使用者声音，即使在存在回音和杂音的环境下也可以正确识别使用者声音履行相应命令；本发明不仅可适用于AV仪器，还可适用于自动翻译装置、各种电器、携带电话、玩具等各种领域。