提供了一种用于训练对话响应生成系统的计算机实现方法和对话响应生成系统。该方法包括：布置用于对话响应生成或视频描述的第一多模式编码器‑解码器，第一多模式编码器‑解码器具有第一输入端和第一输出端，其中，已经通过用视频描述语句训练视听数据集预训练了第一多模式编码器‑解码器；布置用于对话响应生成的第二多模式编码器‑解码器，第二多模式编码器‑解码器具有第二输入端和第二输出端；向第一多模式编码器‑解码器的第一输入端提供具有第一对应视频描述语句的第一视听数据集，其中，第一编码器‑解码器基于具有第一对应描述语句的第一视听数据集生成第一输出值；将不包括第一对应视频描述语句的第一视听数据集提供给第二多模式编码器‑解码器。在这种情况下，第二多模式编码器‑解码器基于没有第一对应视频描述语句的第一视听数据集生成第二输出值。