本发明提供了一种跟踪视频序列中的多个目标的方法。一视频监视系统(10)包括照相机(25)、个人计算机(PC 27)和视频监视器(29)。在PC(27)的硬盘驱动器上提供视频处理软件。提供该软件来对从照相机接收的视频数据执行多个处理操作，该视频数据表示捕捉到的视频的单个帧。具体地讲，提供该软件来识别当前帧中的一个或多个前景域，从而当接收到多个帧时，将该域或者每个域与在一个或多个前面的帧中识别到的目标进行匹配，并且跟踪该目标或者每个目标的运动。为了在遮挡事件期间保持对目标的识别，对彼此靠近的与根据图像位置产生外观模型。一旦发生遮挡，则结合表示被遮挡的目标的深度级别的深度因子使用对应的外观模型，从而将得到的组域分割为区域，所述区域被分类为表示结合的目标中的一个或者另一个。