本发明提供一种基于显微图像的类器官细胞计数方法及系统。该方法包括：采用光学显微镜将每个待计数类器官的孔板划分成多个视野区域进行扫描拍照；将同一孔板的所有类器官图像拼接成一张全景图；确定所有全景图中符合要求的类器官，然后计算每个类器官的宽度、高度、平均灰度信息，通过获得的每个类器官的宽度、高度、平均灰度和质量评估结果这四个参数构建四元组；将人工计算值和类器官属性信息输入深度学习模型进行迭代训练，构建两层全连接网络M，构建网络的损失函数δ，将获得的损失函数和迭代训练获得的细胞数预测模型送入GPU中再次进行迭代训练，直至损失函数δ小于给定阈值停止训练；利用训练好的深度学习模型对类器官进行自动细胞计数。