本发明公开了基于语义分析的教育类视频彩色字幕生成方法及系统，包括：获取待处理的教育类视频；对待处理的教育类视频进行采样，提取出若干个有文本帧；对待处理的教育类视频进行采样，提取出若干个无文本帧；对所有的有文本帧进行关键帧提取，得到有文本帧的关键帧集合；对所有的无文本帧进行关键帧提取，得到无文本帧的关键帧集合；对有文本帧的关键帧集合和无文本帧的关键帧集合进行汇总，得到待处理教育类视频的所有关键帧；对所有关键帧中的每一帧提取出内容文本和语音文本；根据内容文本和语音文本的相似度，给出对应关键帧的彩色字幕。通过获取关键帧来降低存储负担，还可有效提高视频检索速度，对获取所讲述视频的主要内容也很有帮助。