本发明公开了一种基于语音特征的视频搜索方法，包括以下步骤：将待搜索的语音数据提取成多个多维特征向量；将提取的多维特征向量的语音数据转换为多个文本；将获得的多个文本导入时序神经网络进行训练，得出一个高纬度的特征向量；卷积神经网络以高纬度的特征向量为输入进行回归操作；将卷积神经网络得到的特征向量与数据库对应的特征向量进行比对，选出相似度最高的结果，并进行测试得出最终的准确率；将选出的相似度最高的结果以视频或音频作为输出，完成最后的搜索内容，以语音形式反馈给用户。本发明解决了现有技术中语音信息变化莫测，难以打上足够数据的标签来保证搜索算法的精度，从而导致语音搜索的准确度不高的技术问题。