本发明公开了一种基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统，包括：1)构建腹腔镜手术数据集；2)利用双粒度时间卷积网络的双粒度时间卷积模块对图片序列进行初步特征提取，输出对每一帧图像的初始预测结果；3)使用双粒度时间卷积网络的单粒度时间卷积模块对双粒度时间卷积模块输出的初始预测结果进行校正；4)将预测结果映射到(0,1)区间内，得到最终手术阶段识别结果。本发明使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测，利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。