本申请公开了一种基于多模态算法的图像搜索方法及装置，该方法包括：提取素材库中的图像素材的卷积特征；或对文本进行编码，将编码后的文本输入变换器中进行文本特征提取；将所提取的图像素材的卷积特征和文本特征输入至预训练的多模态模型的共同空间，实现多模态特征向量的提取，并存储在数据库；接收到输入的待搜索图像或文本信息，利用预训练的多模态模型对待搜索图像或文本信息进行多模态特征向量的提取；将待搜索图像或文本信息的特征向量与数据库中的多模态特征向量采用近似最近邻算法进行匹配，对匹配后的多模态特征向量进行召回且排序，按匹配的召回排序并输出搜索结果。本申请提升了图像的搜索效率及准确率。