本发明提供一种能够设为在医疗图像上可找出与病理检查相关性高的特征的观察环境的图像处理装置、内窥镜系统及图像处理的工作方法。根据在以第1放大率来放大观察对象的第1观察环境下获得的第1医疗图像，计算从第1观察环境向以大于第1放大率的第2放大率来放大观察对象的第2观察环境切换的判定中所使用的切换判定用指标值(红色特征量)。根据切换判定用指标值，判定是否从第1观察环境切换为第2观察环境。在判定为进行向第2观察环境的切换的情况下，通过特定动作切换为第2观察环境。