本发明涉及计算机视觉技术和无人机技术，其公开了一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。该方法包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。本发明适用于人脸图像准确追踪。