本发明提供一种基于主线约束的非规则角度方向代价聚合方法，用于遥感影像立体匹配处理，包括对于一个经过核线重采样的立体像对，采用匹配测度计算基准影像每个像素对应的初始匹配代价；确定非规则方向聚合的起始点，包括先先将0‑360度方向划分为0‑90、90‑180、180‑270以及270‑360四组，根据代价聚合的方向确定聚合的起始点，包括设方向在0‑90、90‑180、180‑270以及270‑360的起始点分别为左上点、右上点、右下点以及左下点；根据代价聚合方向确定聚合的主线的方程，并根据方程确定主线方向的代价聚合路径；根据主线将影像划分为上下两部分，确定相邻路线上代价聚合的路径并标记，然后依次确定影像范围所有的代价聚合路径，当到达影像边缘时，则完成整景影像上所有聚合路径的确定。