本发明公开了一种基于Y型金字塔网络的多谱段图像融合方法，用于异源图像融合领域，包括以下步骤：S1：获取训练集、扩增训练集；S2：构建Y型网络；所述Y型网络包括：分支网络、主支网络；所述分支网络采用金字塔网络分别提取可见光图像特征和红外光图像特征，所述主支网络融合所述分支网络提取的可见光图像特征和红外光图像特征；S3：将训练集输入所述分支网络对所述分支进行训练，根据损失函数对所述主支网络进行训练，得到完成训练的所述Y型网络；S4:将可见光图像特征和红外光图像特征输入完成训练的所述Y型网络生成融合图像。本发明生成的融合图像具有明显的红外目标的同时，可见光的纹理细节信息得到保留且结构损失较小。