本发明公开了一种基于跨域迁移学习的小样本声音识别方法及系统，方法包括采集原始的声音信号；对采集的原始声音信号进行梅尔时频变换得到声音信号的梅尔语谱图；利用大量没有标注的梅尔语谱图和大量有标注的自然图像预训练神经网络模型，跨域地将模型针对自然图像的特征提取能力迁移到梅尔语谱图上；用一部分有标注的梅尔语谱图的时频多空间特征来进一步地训练第二步预训练得到的神经网络模型，建立声音识别模型；模型的跨域双阶段预训练使得模型逐渐适应声音数据的语谱图，提高鲁棒性和特征提取能力，增强泛化性以及判别能力；基于时频多空间特征提取的声音识别模型包括深度卷积网络和循环神经网络两部分，能提升识别的精确性和模型的稳定性。