本发明涉及手势识别领域，公开了一种基于手势识别的3D可视化模型控制方法，将手部置于影像采集设备前部，通过影像采集设备采集手部图像，其中影像采集设备的有效检测区域范围为S1，当手部位于S1内进行后续的步骤，否则不进行后续步骤；通过手关键点识别网络模型识别到手部图像中的手部后，建立手部关键点T，并根据手部关键点T形成手部骨架图M；其中每个关键点T对应手识别网络模型中的一个矩阵，每个矩阵即为关键点T的概率图，通过查找概率图的最大值来找到关键点T的位置，进而识别手部的手势和动作；进而通过单指或者双指，完成3D可视化模型的平移、选中、释放、转动、缩放，方便人们一边讲演，一边使用手势进行操作。