本发明公开了一种基于多任务学习的手术工具和手术阶段识别方法，包括：1)收集微创外科手术视频并处理得到图片序列数据集；2)利用Backbone网络共享中间层对图片序列数据集中的手术工具和手术阶段进行初步特征提取，得到的初始特征图作为后续特征增强模块的输入；3)使用特征增强模块对初始特征图进行特征融合；4)利用双头分类器分别得到手术工具和手术阶段的识别结果，双头分类器其中一个分支使用Sigmoid激活函数计算得到手术工具的预测结果，另外一个分支使用SoftMax函数计算得到手术阶段的预测结果。本发明通过共享手术工具和手术阶段的特征信息实现互补，充分捕获手术工具和手术阶段之间的关联信息，同时对这些特征信息进行多尺度融合，增强深层语义特征的几何表达。