本发明公开了一种三维物体检测与跟踪方法，属于三维视觉领域。本发明分为扫描和检测跟踪。扫描过程通过扫描待检测跟踪的三维物体，结合视觉里程计得到三维物体以及所处环境的相关信息；检测跟踪过程使用改进的SuperPoint算法进行特征提取与匹配，并结合视觉里程计，得到精确，鲁棒的三维物体检测与跟踪结果。改进的SuperPoint算法通过改进损失函数，保证精确率的同时大大降低了训练消耗的内存。本发明对网络输出的描述子维度进行适应性的调整，能够在检测与跟踪阶段得到更高的精度。最终得到的三维物体检测与跟踪系统具有较高的精度和鲁棒性，在物体局部遮挡，相机较快移动，环境中有相似其他物体的情况下，本发明也能得到较为精确的结果。