本说明书实施例提供一种文字检测模型预训练方法以及装置，所述方法包括：将文字样本输入文本编码器得到文字特征，以及将图像样本输入图像编码器得到图像特征，其中，文字样本从图像样本提取得到；根据数据字典和图像特征确定图像样本是否包含文字样本，得到文字包含结果，其中数据字典包括文字样本；根据文字特征和图像特征确定文字样本和图像样本的对应关系，得到图文对应结果；根据文字特征和图像特征预测被掩盖的文字样本，得到文字预测结果；根据包含结果、图文对应结果和文字预测结果，对图像编码器进行参数调整，得到预训练文字检测模型。通过使得视觉表征具备了语义知识，规避了由于语义知识不足而产生的成行成列歧义等问题。