本发明提出一种基于视频的面部表情识别方法及装置，该方法在进行实时视频面部表情识别的时候，主要将ASM轮廓提取算法应用到特征矢量的提取当中，并根据人脸的眼睛的位置对人脸图像进行提取，由人脸下巴的位置生成归一化的特征脸，用AdaBoost算法提取特征脸中最有效的特征，最终达到面部表情识别的目的。本发明在使用中可以消除光照的影响，在方法中对人脸图像进行了专门处理，使人脸的左右部分的灰度均值和方差基本一致，并且本发明的方法针对常用的USB摄像头的视频数据来对人脸进行实时自动检测、跟踪并能识别出正面人脸常见的四种表情的算法，可以达到较佳的技术以及商用效果。