本发明公开了一种异源遥感图像配准方法及系统，将旋转变化从图像模态变化中分离，用深度序列回归对图像进行旋转矫正，用深度描述子学习网络对异源图像进行精细配准；显著降低基于深度描述子学习网络的异源图像配准的挑战性，保持鲁棒性和准确性。采用旋转矫正的深度序列回归网络创新性地将旋转估计任务转变为一个序列回归问题，深度序列回归利用旋转序数之间的潜在关系，提高旋转估计的准确性；大量的实验结果证明了方法的必要性和深度序列回归网络在异源图像配准方面的优越性。