本发明涉及一种基于空间注意力特征聚合的视觉跟踪方法，包括步骤：S1：获取视频或图像序列的首帧标注信息，将首帧图像输入孪生网络跟踪架构的模板分支，对区域目标提取浅层特征、中间层特征、深层特征；其中孪生网络跟踪架构包括模板分支与搜索分支；S2：构造空间注意力掩模，计算掩模运算后的特征；S3：对浅层特征计算精确性质量值，对中间层特征计算鲁棒性质量值；基于区域特征聚合方法选取特征通道，连接特征张量作为聚合结果；S4：根据先验标签使用回归方法调整深层部分网络参数，重计算深层特征的输出并聚合，利用得到的所有聚合特征作为模板在孪生网络跟踪架构的搜索分支经过卷积运算得到输出结果。本发明能够有效的进行视觉跟踪。