本发明涉及视频处理技术领域，具体公开了一种基于神经网络模型的短视频片段自动生成方法及系统，其中方法包括如下步骤：过滤冗余或残缺的镜头并按时间对过滤后的镜头排序；将排序后的镜头输入预训练的第二神经网络模型，从第二神经网络模型获得场景边界的输出结果，根据场景边界划分场景；使用二分法递归地拆分时长大于第一阈值的场景，并判断时长小于第二阈值的场景是否相邻且相似，若相邻且相似，进行合并；统计场景中每个镜头在特征空间中的密度，根据密度计算场景分值；根据场景分值对场景进行倒序排列并返回对应的场景起止时间；根据场景的起止时间以及设置的时长截出视频片段。采用本发明的技术方案能够保留视频中的精彩场景。