为了操作自主车辆，使用检测系统检测自主车辆附近的轨道智能体。确定检测到的轨道智能体可能在其上行进的一个或多个轨道，并且基于确定的一个或多个轨道预测轨道智能体的可能路径。确定来自可能路径的一个或多个极可能路径的一个或多个运动规划，并且基于一个或多个运动规划中的每个运动规划确定一个或多个极可能路径中的每一个的可能性。然后基于轨道智能体的与最高可能性相关联的最可能路径来确定自主车辆的路径，并且使用确定的路径操作自主车辆。