本发明提供一种选择性加密图像的视觉安全评估方法及系统，属于信息技术领域，包括：对待评估的图像进行自然度特征提取及结构特征提取；构建待评估图像的梯度二值模式图；将结构特征和梯度二值模式图中的梯度信息进行融合，得到梯度加权直方图；利用支持向量回归将自然度特征及梯度加权直方图映射到加密图像的视觉质量上，求出预测分数与主观分数之间的关系完成视觉安全评估。本发明实现了无参考的加密图像质量评估，具有较好的预测单调性，提高了加密图像视觉安全评估的准确性。