本发明属于医学图像智能处理技术领域，具体为一种基于自采样相似的多模态协作食管癌病变图像分割系统。针对早期食管癌诊断，首先构建配对的白光图像和NBI数据集；所述分割系统包括特征提取编码器、自采样相似特征分离模块、特征融合解码器；以白光图像和NBI作为多模态输入，由两个编码器分别提取两种模态的特征；对于每一种模态，自采样相似特征分离模块将病变区域特征与正常区域给予有效区分；解码器在特征域完成多模态特征融合，最终输出两种模态图像的病变分割结果。实验结果表明，本发明可以合理融合不同模态的特征，显著区分病变区域与正常区域，实现病变区域的精准分割，提高临床诊断的效率。