本发明提出一种视频序列中人脸的实时检测与持续跟踪的方法及系统，该方法包括以下步骤：输入视频图像；采用实时人脸检测算法对输入的视频图像进行人脸检测；再采用粗细两级人脸检测算法对检测到的人脸进行检测验证；采用物体跟踪算法跟踪验证后的人脸；通过对跟踪区域的验证对跟踪的人脸进行验证处理。本发明采用基于AdaBoost统计分层分类器的人脸检测方法，实现正面直立人脸的实时检测，并结合基于Mean shift和直方图特征的人脸跟踪方法，实现了人脸的实时检测和跟踪，本发明具有检测及跟踪迅速、实时性强的优点。