本发明公开了一种人物交互关系的检测方法、装置及系统，该方法包括：获取待检测的视频段；其中，视频段包含有预设的人物交互动作；将视频段输入预先训练好的目标检测网络中进行分帧目标检测，得到对应每一帧图像的预设的可能与人体发生交互的第一物体检测点；对所述视频段进行分帧处理，提取每一帧图像的预设的第一人体骨架点；将所述第一物体检测点与所述第一人体骨架点按照预设的连接方式进行连接，构建第一时空图并输入到预先训练好的时空图卷积网络模型，得到人物交互动作的检测结果。本发明能解决现有技术中因对场景中所有物体进行检测和只关注人体整体特征并分析人与物体的交互关系而导致的耗时、计算复杂、缺少细粒度的问题。