本申请公开了一种基于深度学习的视觉里程计特征点检测方法及系统，在本申请提供的方法中，首先开启视觉里程计获取原始训练集视频流，将视频流中的RGB图像帧灰度化，得到预处理图像信息，再计算图像信息中的任意相邻帧图像相对尺寸因子，获取多个具有指定像素分辨率的像素块数据的训练数据，并对其进行训练，筛选出每帧图像中的多个特征点数据，最后利用特征点数据和对应帧图像的局部像素计算得到每帧图像的特征描述子，从而计算相邻帧之间的特征点匹配度。基于本申请提供的基于深度学习的视觉里程计特征点检测方法及系统，利用神经网络的方法对视角变化的特征点检测方法进行了优化，从而提升在视角变化时特征点检测的性能。