本发明涉及一种递进式人物交互识别方法及系统，包括：获取待识别的单张图像；将图像输入人体关键点识别模型，获得身体各部位关键点坐标，根据预先确定的具体应用场景确定相关关键点坐标，相关关键点坐标属于某一个或者多个身体部位；将相关关键点坐标输入预先训练好的姿态相似性模型，输出预测姿态；根据相关关键点坐标计算待识别物体区域，根据待识别物体区域截取图像，识别截取图像中每个物体的物体包围框、物体类型及相应的交互动作；根据预测姿态、交互动作，计算每个交互动作的得分，选择最高分的交互动作为最终的识别结果。与现有技术相比，本发明使用关键点来协助判断交互动作，速度和准确率都有提升，能够实现精细动作的有效识别。