本发明提供一种物体跟踪装置以及物体跟踪方法。物体跟踪装置针对每个部位存储作为构成所述运动图像的多个帧图像之中的一帧的第一帧图像中的、表示所述对象物的区域图像的信息，并且存储对象物的显著部位。物体跟踪装置的恢复单元在丢失了所述对象物时，针对与作为丢失了该对象物的帧图像的第二帧图像对应的视觉显著图的每个极大值位置，(1)推定假定在所述极大值位置存在显著部位时的、所述对象物的各部位存在的区域，(2)基于所述第一帧图像与所述第二帧图像的每个部位的区域图像的相似性，算出相似度分值，确定在所述第二帧图像中的、所述相似度分值最大的极大值位置存在所述对象物。