本发明涉及一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法，首先采用人脸识别数据集训练自适应聚合网络；接着使用基于卷积神经网络的人脸检测方法获取人脸的位置，初始化待跟踪的人脸目标，提取人脸特征；然后采用卡尔曼滤波器预测每个人脸跟踪目标在下一帧的位置，并在下一帧中再次定位人脸所在位置，对检测出的人脸提取特征；最后使用自适应聚合网络，对每个跟踪的人脸目标跟踪轨迹中的人脸特征集合进行聚合，动态地生成一个融合多帧信息的人脸深度表观特征,结合预测的位置及融合后的特征,与当前帧中通过检测得到的人脸位置及其特征,进行相似度计算与匹配，更新跟踪状态。本发明能够提升人脸跟踪的性能。