本发明属于无线通信信号识别技术领域，特别涉及一种基于深度神经网络的无线通信信号开集识别方法及系统，包含：收集无线通信信号并通过预处理来构造信号样本数据库；构建基于回归映射神经网络RMN的信号开集识别模型；利用信号样本数据库对信号开集识别模型进行训练，并利用已知信号在闭集上对模型测试优化，并通过五分位算法获取区间阈值及截取信号数值区间的中心距离阈值；利用测试优化后的信号开集识别模型在开集范围内对预处理后的无线通信信号进行数值回归映射，并利用区间阈值来判别输入的无线通信信号是已知或未知信号，针对判别的未知信号情形，利用核密度聚类算法并结合距离阈值来识别未知信号类型，方案有效、实用，便于实际场景应用。