本发明提供一种基于语义分割的高空抛物检测方法及系统，包括预先通过知识蒸馏训练轻量化的语义分割网络，从监控视频取无相机抖动帧，输入语义分割网络提取建筑物区域，作为高空抛物检测的候选区域；取若干无相机抖动帧，进行二值化处理，然后用高斯混合模型进行背景建模，得到当前场景的背景图；对待检测的当前帧图像进行相机抖动判断，若相机不抖动，则利用背景使用背景差分法对当前帧图像进行建筑物区域内的运动检测，得到运动对象；对得到的运动对象进行去噪处理；对去噪后的候选对象用匈牙利算法进行目标追踪，如果能成功追踪，则对跟踪轨迹进行判断，若跟踪轨迹符合高空抛物的轨迹，则认为是高空抛物，进一步得到其抛出位置和落点位置。