本发明提供了一种基于强化学习的视频序列二维姿态估计方法，首先构建强化学习智能体的整体状态，然后输出动作，从当前视频序列中选择一个标注帧和一个未标注帧，两帧通过姿态估计器得到姿态，并被一起送入动作转换器完成动作转换并更新姿态估计器和动作转换器，最后根据姿态估计器的提升算出智能体的回报，并更新优化智能体。本发明利用强化学习和主动学习的思想，通过充分挖掘视频中的时序信息选出最有信息量的视频帧对，从而可以很好地抵御人体自遮挡，运动模糊等问题，可提高视频姿态估计方法的准确性和鲁棒性。本发明不同于常见的监督学习方案，仅使用少量的视频标注帧来完成姿态估计器的学习，较为明显地降低了人工标注量，从而实用性更高。