本发明涉及一种基于手势识别的鼠标光标控制方法及系统，使用MATLAB调用计算机自带摄像头或外接USB摄像头采集视频数据，检测和识别视频中人物的手势，并根据手势实时控制光标移动或点击。提出了一种融合PHOG（Pyramid Histogram of Oriented Gradients）特征和改进的LBP（Local Binary Pattern）特征并基于K‑NN（k‑近邻分类）分类器的手势图像识别方法。为了提高系统运行的实时性，系统通过肤色检测来确定当前帧是否有人手。当检测到有人手时，进一步提取PHOG特征和改进的LBP特征。在融合PHOG特征和改进的LBP特征后，采用K‑NN分类器实现手势分类识别。本发明实现了在不同的角度、不同的光线等复杂背景情况下，快速准确的识别用户手势，并根据识别结果准确实时的控制鼠标光标的动作。