本发明公开了一种基于深度学习的采砂船采砂监控方法，包括以下步骤：获取翻斗式采砂船的采砂监控视频，处理待识别视频获取图像；基于Pytorch框架构建采砂船的采砂检测模型与采砂跟踪模型；对采砂检测模型进行训练；将训练好的模型移植到边缘计算模块；使用边缘计算模块控制摄像头获取翻斗式采砂船的采砂实时监控视频，先对采砂实时监控视频进行采砂斗的目标检测识别，再对识别出的砂斗进行目标跟踪；采砂监控可检测出采砂船一段时间内的采砂斗数，并识别出各个采砂斗的充盈情况，判断出满斗与空斗，再对识别出的砂斗进行目标跟踪，统计一段时间内的采砂斗数。本发明对采砂状况、数量进行监控和统计，使采砂管理变得更加科学高效和规范。