本发明公开了一种手势操控方法和系统，属于智能交互技术领域，包括：采集含有手势动作的图像帧序列，将图像帧序列中各图像帧分别输入到手势跟踪模型和训练好的手势检测模型，得到各图像帧的手势类别和手势检测框中心点的坐标值；将各图像帧的手势类别和自定义的手势语义集进行匹配，得到手势类别对应的语义，将所述语义转化为指令，根据指令对终端节点和终端节点投影后的显示模块的相应位置进行操作；查看终端节点和显示模块的相应位置操作结果并将其反馈给用户进行参考。本发明不依赖可穿戴式设备，操作起来方便灵活，也不需要高性能计算处理设备，降低了使用成本。