本发明公开了一种智能视频会议终端的实时人脸摘要服务的方法及系统，属于人脸识别技术领域。本发明包括初始化模型；获取视频帧；利用人脸检测模型对预处理后的帧图像进行人脸检测；利用人脸检测结果，初始化跟踪器，并人脸进行人脸跟踪，跟踪捕获人脸的位置信息；利用人脸对齐模型，得到人脸关键点的坐标，然后采用相似变换将人脸变换到标准人脸图像；利用人脸识别模型，进行人脸特征映射，识别出帧图像中的人脸；将识别出的人脸图像录入人脸画廊中，并通过人脸优选，更新人脸画廊。本发明的方法进行人脸摘要服务的质量好，清晰度高，并且计算速度快，实时性好，无需借助大型计算平台，可以直接应用于视频会议终端，降低了成本。