本发明属于医学图像处理技术领域，具体为一种面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统。本发明系统包括特征提取骨干网络和特征金字塔、区域候选网络、兴趣区域池化与癌灶分类网络，以及在窄带成像内镜图像上进行可视化的系统。骨干网络用于提取输入图像的特征图；特征金字塔用于将不同尺度的特征相融合；区域候选网络提出可能的病灶区域；对兴趣区域池化将特征池化到可疑病灶区域；癌灶分类网络对癌灶进行分类；最后在窄带成像内镜图像上进行可视化，使用不同的颜色对癌灶进行框选标记。将窄带成像内镜的图像输入到网络模型中，对图像中存在的早期食管鳞癌的癌灶进行检测与诊断，可有效提升诊断效率，辅助医生获取更高的诊断精度。