本发明提供一种基于视频的危险品检测方法及系统，获取图像拍摄装置拍摄的视频流；对视频流进行分帧，并记录视频流中当前视频帧图像与前一视频帧图像之间的位移；当待识别包裹完全进入视频视野后，从对应的视频帧图像中提取出包含待识别包裹的小图，得到包裹框；对待识别包裹的小图进行危险品检测，得到危险品目标框；根据危险品目标框记录检测出的危险品目标信息。本发明充分分析了安检视频图像的特点，利用传统图像处理技术提取出视频图像中包裹小图，将包裹小图送入yolov4目标检测模型进行危险品检测，避免了直接对视频原图进行检测时的图像信息损失，有效提高了危险品检出率，降低了漏报率和误报率，提高了安检危险品检测的效果。