本公开提供了一种视频生成方法及其装置、神经网络的训练方法及其装置，涉及人工智能领域，具体涉及自然语言处理技术、深度学习技术、和图像处理技术等。视频生成方法包括：获取文本的全局语义信息和局部语义信息，局部语义信息与文本中的文本片段对应；基于全局语义信息在数据库中进行检索，以得到对应于全局语义信息的至少一个第一数据；基于局部语义信息在数据库中进行检索，以得到与局部语义信息对应的至少一个第二数据；基于至少一个第一数据和至少一个第二数据，得到候选数据集；基于至少一个文本片段各自和候选数据集中的每一个候选数据的相关度，为至少一个文本片段匹配目标数据；以及基于至少一个文本片段各自匹配的目标数据生成视频。