本发明属于医学图像智能处理技术领域，具体为一种基于目标检测神经网络的耳硬化病灶检测及诊断系统。本发明系统包括特征提取主干网络、目标检测与分类网络、对多层检测结果的后处理诊断系统；主干网络在VGG‑19的基础上构建，包括16个卷积层，用于提取输入图像的特征图；目标检测与分类网络包括区域提取网络、自适应池化层、分类网络，得到区域的类别；后处理诊断系统输入为个分层检测结果，输出为该样本的诊断结果。本发明系统将3D的颞骨CT图像分层输入网络模型中，经过一次前向传播以及后处理，即可同时获得病灶检测及诊断结果，可有效提升诊断效率，辅助医生获取更高的诊断精度。