本发明提供一种基于监控视频的公共场所遗留物检测方法，首先，通过图像采集设备获取视频流，然后，根据视频帧中游客与其携带物的关系，匹配游客及其携带物，再对游客及其携带物使用卡尔曼滤波与表观建模的级联匹配方法进行目标跟踪，根据跟踪结果与游客及其携带物的综合距离度量，最后判断游客携带物是否离开游客，若携带物独立停留时间超过阈值，则判定为遗留物并报警。本发明通过综合距离度量判断遗留物是否离开游客，能更好应对传统IOU方法无法应对的情形；同时，使用卡尔曼滤波与表观建模的级联匹配方法对目标物体进行跟踪，增强了多目标跟踪任务的鲁棒性，对公共场所的遗留物检测具有较强的针对性，准确率高。