本发明提供一种基于视觉时序推理的自动驾驶方法及系统，其中方法包括：根据车辆的自动驾驶数据，提取与每个驾驶时刻对应的驾驶视觉场景图片序列；对历史驾驶视觉场景图片序列及未来驾驶视觉场景图片序列分别进行特征提取及自动驾驶策略网络处理，生成预测的驾驶行为动作、未来低维度特征向量表示及第一误差数据；根据预测的驾驶行为动作及示例驾驶行为动作进行均方差误差损失统计，得到第二误差数据；将第一误差数据及第二误差数据进行加权计算，得到总误差函数；根据误差函数对自动驾驶网络模型进行更新迭代，得到损失函数值。本发明中一种基于视觉时序推理的自动驾驶方法，能够实现更加安全与精确的自动驾驶。