公开了用于服务器学习由用户客户端设备以众包方式生成的新字词同时保持客户端设备的本地差异隐私的系统和方法。客户端设备可确定在客户端设备上键入的字词是不包含在客户端设备上的词典或资产目录中的新字词。新字词可以按诸如娱乐、健康、财务等分类进行分组。客户端设备上的差异隐私系统可以包括用于新字词的每个分类的隐私预算。如果存在可用于分类的隐私预算，则可以将分类中的一个或多个新术语发送到新术语学习服务器，并降低分类的隐私预算。隐私预算可以定期补充。