本申请提供了一种键盘跟踪方法及跟踪系统，键盘跟踪方法包括以下步骤：获取包含键盘和用户手图像的图像序列；利用深度学习算法对包含键盘图像的图像序列进行处理，得到键盘的2d关键点的坐标、键盘的掩膜和手的掩膜；采用基于特征点的优化算法对键盘的2d关键点的坐标和键盘的掩膜进行处理，得到键盘的3d估计位姿；采用基于掩模的优化算法对键盘的3d估计位姿进行优化，得到键盘的3d优化位姿；获取键盘的型号信息，对所获取型号的键盘的3d位姿和手的掩模进行渲染，完成对键盘的跟踪。本申请使用户能够很自然的使用键盘进行输入，操作方便，提高用户体验。