本公开提出了一种包裹分拣行为的识别方法及其装置，涉及计算机视觉技术领域。本公开通过对目标视频中的图像帧进行目标检测，获取至少一个人体检测框和至少一个包裹检测框；分别对人体检测框和包裹检测框的运动轨迹进行跟踪；在轨迹跟踪的过程中，针对任一包裹基于跟踪到的当前运动轨迹识别任一包裹的被抛出时刻；获取任一包裹从被抛出时刻到当前时刻的运动信息，并基于运动信息，对任一包裹的分拣行为进行识别。本申请在对包裹分拣行为进行识别时，通过判断人体与包裹的交互关系，能够有效排除只有人、或只有包裹、或人携包裹一起运动、或背景无关信息干扰等等的误判，并且能够识别分拣人员主体，确定分拣力度等级，使得判断更准确。