本公开公开了基于多尺度图的视频突发事件监测方法及系统，对初步采样的视频数据进行关键帧提取，形成视频摘要序列；对视频摘要序列进行视频序列周期估计，从而估算视频监测内容的运行周期；对视频摘要序列以周期为单位进行多尺度图模型建模并不断更新模型参数；将一组多尺度图中与其他多尺度图距离度量和最小的图定义为中值图并不断更新中值图，从而将视频突发事件监测问题转换为与中值图的距离度量问题；在每个监测周期，将多尺度图模型与中值图进行差异度计算；在视频突发事件检测系统运行过程中，利用长度固定的滑动窗口对视频摘要序列进行突发事件监测。