本发明提供一种针对轨道数据的异常变化检测方法及系统，包括：步骤S1，通过两个结构相同和网络参数相同的孪生神经网络分别对输入的基准图像和测试图像进行特征提取，分别得到基准图像和待测图像的多尺度特征；步骤S2，对提取后的特征通过1×1的卷积进行特征整合，整合成尺度为1的组合特征以获得关系特征图；步骤S3，通过度量学习器对特征之间的相似度进行学习，其过程包括依次经过第一卷积模块、第二卷积模块、全局均值池化层以及全连接层，进而获取取值范围为[0,1]的特征关系分数。本发明能够有效得解决轨道数据中对于异常变化的自动检测难题，大幅度地降低了误检或漏检的可能性，对保证列车的正常行驶提供了可靠的保障。