搜索
DeepMind 发布 VaultGemma 模型，具备差分隐私能力
1 天前
谷歌DeepMind推出新型语言模型VaultGemma，该模型是目前规模最大的具备差分隐私能力的语言模型，参数规模达10亿，专注于用户隐私保护。VaultGemma引入差分隐私技术，在训练过程中添加随机噪声，确保模型输出无法与特定训练样本关联，初步测试显示未泄露训练数据。模型基于Google的Gemma2架构，采用仅解码器的Transformer设计，通过限制序列长度管理高密集计算，并借助“差分隐私缩放定律”平衡计算、隐私和效用。尽管其性能与五年前的普通语言模型相当，生成能力较为保守，但隐私保障更强。相关代码库将在Hugging Face和Kaggle以开源许可证形式公开。
