本申请涉及基于自适应定位及卡尔曼滤波跟踪的手部实时感知方法。所述方法包括：获取RGB图像并对RGB图像进行预处理；将预处理后的RGB图像输入训练好的OpenPose人体姿态估计模型，得到第一预设数目的人体关键点；在第一预设数目的人体关键点中提取第二预设数目的手腕点、手肘点和肩膀点组成前臂关键点对和上臂关键点对；基于优化的卡尔曼滤波前臂跟踪器为前臂关键点对取得第一预测结果；利用第一预测结果自适应生成手部局部区域，将手部局部区域对应的RGB图像输入至训练好的BlazePalm手部检测模型中，获得手部检测框；基于优化的卡尔曼滤波手部检测框跟踪器为所述手部检测框取得第二预测结果作为手部实时感知结果。本申请能实现稳定、实时及精准的手部感知结果。