本发明公开了一种基于多尺度受约束自注意机制的视频显著性物体检测方法。该方法采用了受约束注意力机制，即度量询问元素和视频片段中若干帧在其周围约束区域的相似性生成注意力图，并通过该注意力图作为权重，加权收集若干帧在其周围约束区域的特征信息加强询问元素的特征。同时，利用多分支技术，使每个受约束注意力分支的采样在不同的尺度范围，构成的多尺度受约束自注意机制可以适用于不同尺度大小的输入。该方法成功地利用了视频片段中帧间元素间的视觉联系，从而解决了视频间显著性物体的运动建模。基于该方法构建的视频显著性目标检测系统可以达到极快的检测速度和较高的检测精度。