本发明提供了一种基于卷积神经网络的广告骚扰传真图像检测系统及方法，包括关键字区域提取模块，所述关键字区域提取模块用于确定待检测传真图像的关键字可疑区域；神经网络置信度分析模块，所述神经网络置信度分析模块与所述关键字区域提取模块相连，所述神经网络置信度分析模块用于对所述关键字可疑区域的文字进行识别，实现传真图像的分类。本发明通过关键字区域提取模块对关键字可疑区域进行提取，自动化运行，工作效率高；通过神经网络置信度分析模块对关键字可疑区域的文字进行识别，实现广告骚扰传真的分类判断，节约时间，管控能力强，使得本发明具有工作效率高，管控能力强的特点。