本发明提供一种视频浓缩中背景图像的生成方法，包括以下步骤：对于同一个图像帧，分别利用目标检测模型，目标跟踪模型和背景建模技术，检测得到目标框集合，并进行目标框集合的合并；背景候选图的生成；背景图生成。具有以下优点：(1)该方法结合深度学习和非深度学习的方法，对图像帧中前景目标的检测更加准确，提高图像帧中前景目标检出率，漏检明显减少；(2)可以适应不同场景不同目标的检出需要。(3)该方法可以有效解决背景建模漏检短暂静止的前景目标的弊端。(4)该方法生成背景候选图的效率高。(5)有效利用了多帧信息，前景目标的漏检残留现象被进一步消除，生成的背景图像质量明显提升。