本发明公开了一种三轮车流量统计和载人判断的方法及系统，包括：获取交通场景监控的图像数据；构建三轮车的目标跟踪模型，将图像数据输入目标跟踪模型中，获得三轮车在图像中的矩形框坐标和三轮车的ID编号；根据三轮车在图像中的矩形框坐标构建三轮车上的人体检测模型，根据包含三轮车的图像区域获得人体矩形框坐标；通过人体矩形框坐标与三轮车矩形框坐标的位置关系判断是否载人。设置与三轮车流行驶方向垂直的矩形框区域A，用以判断三轮车流量。通过深度学习与跟踪算法相结合的方法定位视频帧中的三轮车区域，不仅解决了道路交通场景中三轮车违法载人判定准确率较低的问题，同时实现了某一区域内三轮车流量的统计。