提供了一种基于对在视频的视频帧中识别的实体的分析来时间上分割视频的解决方案。将视频解码为多个视频帧，并且选择多个视频帧进行注释。注释过程识别存在于样本视频帧中的实体，并且每个所识别的实体具有时间戳以及指示该实体被准确识别的可能性的置信度得分。对于每个所识别的实体，生成由时间戳和对应的置信度得分组成的时间序列并对其进行平滑以减少注释噪声。通过检测实体的时间序列中的片段的边界来获得在视频的长度上包含实体的一个或多个片段。根据视频中每个所识别的实体的个体时间分割，生成视频的总体时间分割，其中该总体时间分割反映视频的语义。