本发明公开了一种基于电磁泄漏信号的异常行为识别装置与方法，识别装置包括依次连接的信号采集模块、智能分类识别模块和判别结果呈现模块，其中：所述信号采集模块用于采集电磁背景信号、电磁泄漏信号、正常信号、异常信号、关键行为泄漏信号并生成电磁泄漏信号图像传送给智能分类识别模块；所述智能分类识别模块负责对现场有/无泄漏信号、对现场有/无异常信号和对关键行为泄漏信号进行智能识别，并将识别结果传送给判别结果呈现模块进行呈现。本发明有效地实现了对非法接入设备以及设备异常行为的监控报警；并可以对现有的特征样本库进行及时的更新与扩充，解决了反复学习与深度网络训练对大量样本的需求。