根据本发明实施例公开的多模态和多尺度融合的候选区域生成方法及相关装置，引入深度图信息为网络带来丰富的三维几何结构信息，以此来改善单模态候选区域生成算法的局限性。同时，所提出的门机制引导的多模态融合模块考虑了输入图像的噪声和图像质量问题，能够利用模态间的互补特征去弥补另一模态特征中的噪声，提高各模态特征的质量，并且该模块能够在充分聚合有用的多模态信息同时减少冗余特征的引入。此外，为了获取更高质量的多尺度特征，利用流引导的多尺度聚合模块来提高高级语义信息在网络间传递的效率，让每个多尺度特征都能够获取到有用的全局信息，从而生成更准确的候选区域框。