本发明公开一种屏幕控制方法和装置。本发明的屏幕控制装置包括数据采集单元、关键点检测单元、目标跟踪单元、手势识别单元和动作识别与控制单元。本发明的屏幕控制方法包括：通过相机获取彩色图像帧、深度图像帧和IR图像帧；通过彩色图像帧获得目标部位的关键点；根据三种图像帧像素点之间的对应关系获取关键点的深度值，并获取所述关键点的空间位置信息以获取跟踪目标的运动状态信息；根据三种图像帧像素点之间的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像帧上提取手部区域的图片进行手势识别；根据运动状态信息和目标手势确定目标动作。本发明能够更准确而精细进行屏幕控制加强用户体验。