一种实时的从视频中跟踪多个人脸的方法，采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；如果跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表改人脸的信息用当前帧中的人脸信息进行更新；如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，则切换到人脸跟踪模块，用跟踪的方式对其保持定位。本发明在某些视频帧中未能检测到被跟踪的人脸、或人脸运动停止、或人脸作非线形运动、或摄像机运动、或人脸左右旋转90度以上、或人脸被部分遮挡时，本方法所提供的人脸跟踪仍能快速稳定地进行。