本发明公开了一种基于实时视觉的车辆行为预测方法，属于车辆行为预测技术领域，步骤一：根据车道线检测算法检测当前车辆周边的车道线，建立车道线示意图，采集待分析车辆信息，根据采集到的待分析车辆信息将待分析车辆输入到车道线示意图内；步骤二：将待分析车辆信息中的车速信息、车道信息和信号灯信息进行去量纲赋值，建立待分析车辆信息集合；步骤三：对所有的待分析车辆信息集合进行聚类，本申请仅在初始建立阶段使用了深度学习网络，在后续的分析过程中并没有再使用，可以节约较多的系统资源，提高运算速度，解决现有的车辆行为预测方法通常使用大量的神经网络模型，造成消耗较多的系统资源，导致系统运算速度慢的问题。