本发明提出一种基于预训练模型和召回排序的跨模态检索系统及方法，其中，该系统包括：多维度文本信息提取模块，用于为所述跨模态检索系统提供文本侧的信息支持，通过不同维度扩大文本信息的语义表示，增加文本样本量；智能图像检索模块，用于视频智能抽帧模块和以图搜图模块，其中，视频智能抽帧模块用于从一段视频中抽取出最能代表视频内容的若干张图片，以图搜图模块用于完成大规模高效率的图片检索任务；跨模态检索模块，用于根据查询项生成大致相关地候选集，对所述候选集进行精确排序，最终返回相关地检索结果。该系统用于降低信息管理成本、提升信息搜索精度和效率，支撑大型赛事咨询和新闻搜索的多模态自动化信息检索。