本发明涉及一种基于音视频处理系统的音视频智能识别处理方法，包括如下步骤：通过采集层的摄像机和拾音器设备分别实时获取音频数据和视频数据，并通过传输层传输至存储层保存；通过解析层上的人脸识别算法对视频数据提取得到的人脸特征数据存储至存储层中；通过解析层上的语音识别算法对语音数据提取得到的语音特征数据存储至存储层中；服务层获取人脸特征数据、语音特征数据以及对应的设备关联数据，通过服务层中的挖掘算法构建多维关联分析模型；应用层通过多维关联分析模型面向用户进行多维度检索、异常预警、关联分析。本发明能够对音频数据和视频数据进行融合处理，得到人、语音、图像的关联信息，为公安系统的工作提供了依据。