本发明公开了一种分层多模态的知识产权搜索引擎方法。包括：预处理输入图像；将输入图像输入到分层深度图像检索模型，得到图像检索结果；将数据集中文本字段输入道文本语义检索模型，得到文本检索结果；将所述文本检索结果输入到相似知识产权推荐模型，得到相似推荐结果；将上述所述图像检索结果，文本检索结果与相似推荐结果进行多模态结果融合，得到融合文本结果，将融合文本结果与用户输入的查询文本进行重新排序，得到最终的检索结果。本发明还公开了分层多模态的知识产权搜索引擎系统。本发明通过分层深度图像检索模型，文本语义检索模型提高检索的速度又保持检索的精度，相对于论文的搜索方法，该方案能更好表达用户检索需求。