本发明公开了一种骨架检测跟踪方法及装置，包括步骤：S10、获取对齐的二维图像和深度图像，将二维图像输入预设2D骨架网络分别获得人体关键点坐标和第一特征图；S20、将深度图像输入预设深度跟踪特征提取网络，获得深度特征图；S30、根据人体关键点坐标，从第一特征图和深度特征图中分别获得2D骨架特征向量序列和深度骨架特征向量序列；S40、利用2D骨架特征向量序列、深度骨架特征向量序列及预设的各对应的骨架序列样本进行匹配计算，获取目标2D骨架序列。本发明综合利用二维图像和深度信息，将两者的输出匹配并进行去除多余骨架及误检，提高了效率，且提升了跟踪系统的鲁棒性。