一种基于动作条件已知的视觉关系检测方法及系统，通过多模态特征提取器从现有数据集中提取出多模态特征，在基础视觉关系检测网络中添加嵌入损失函数对多模态特征进行规则化处理，再通过背景物体建模引入有效背景物体并减少噪声，即将检测物体两两组合并引入背景物体作为辅助并生成训练集，对神经网络进行训练，最后将训练后的神经网络从待测图像中提取出物体对的交互预测，即采用同样的数据处理以及前向传播得到图片中的物体检测结果以及物体两两之间的关系分类结果。本发明基于机器学习、深度学习，能够促进图像场景理解、人与物体交互理解，并应用到图像索引、图像生成、图像描述以及视觉问答系统等应用中。