本发明涉及一种基于孪生网络的目标跟踪方法及装置，方法包括：获取目标跟踪的图像；对所述图像进行增强和裁剪得到模板图和搜索图；根据所述模板图和所述搜索图利用目标跟踪网络得到分类得分图和回归得分图；所述目标跟踪网络包括依次连接的特征提取网络、特征融合网络和分类回归网络；所述目标跟踪网络在训练阶段利用动态样本标签分配方法进行样本标签分配；利用所述分类得分图和所述回归得分图确定目标预测框。本发明在保证跟踪器速度的情况下提高目标定位的准确性。