%ignore_a_1%deepmind近日推出了一款名为vaultgemma的新型语言模型，专注于保护用户隐私。这是目前规模最大的具备差分隐私能力的开源模型，拥有10亿参数。
大语言模型通常存在一个隐患：它们可能在训练过程中记住了部分数据，包括姓名、地址甚至完整文档等敏感信息。而差分隐私技术通过在训练过程中引入可控的随机噪声，有效防止模型将输出与特定训练样本关联起来。
这意味着，即使VaultGemma曾接触过机密文件，从统计上也无法将其内容还原。谷歌表示，初步测试已验证该模型不会泄露或复现训练数据。
在架构上，VaultGemma是基于Google Gemma 2架构的仅解码器Transformer模型，具有26层并使用多查询注意力机制。研究人员表示，关键设计选择之一是将序列长度限制为1024个Token，这有助于管理私有训练的密集计算需求。开发过程由一套新颖的”差分隐私缩放定律”指导，为平衡计算能力、隐私预算和模型效用之间的权衡提供框架。
VaultGemma的性能大致相当于五年前的普通语言模型，在生成能力上略显保守，但为隐私安全提供了更强保障。
谷歌研究人员表示，他们正在Hugging Face和Kaggle上以开源许可证提供VaultGemma及其权重和代码库，以普及私有AI的访问。
以上就是谷歌 DeepMind 发布差分隐私语言模型 VaultGemma的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/105710.html
微信扫一扫 
支付宝扫一扫 
