本发明提供一种基于手势识别的智能遮阳百叶控制系统及方法，实时采集室内图像；根据室内图像，定位出手势活动的动作区域，对动作区域进行特征提取，获取手部运动参数；将手部运动参数解析为手势信息，将该手势信息与预设手势信息进行对比，若预设的手势信息中包含该手势信息，则根据与该手势信息对应的预设的操作逻辑对遮阳百叶做出对应的调整；若预设的手势信息中不包含该手势信息，则判定该手势信息无效。从而根据室内人员的各种手势自动控制百叶的升降和旋转角度，以此来及时快速的实现对室内照明和自然通风量的调控，满足人员对室内环境的需求变化，极大地减少了人员的操作负担，解放了双手，更加的智能化，给使用者提供方便。