提升隐私保护神经网络的准确性
差分隐私提供了一种量化基于私有数据的聚合统计所带来的隐私风险的方法。其核心思想之一是在生成统计数据之前为数据添加噪声，以此保护隐私。
在机器学习的背景下，这意味着在使用训练样本来训练模型之前，先向其中添加噪声。虽然这使得攻击者更难识别训练集中的个体数据，但也往往会降低模型的准确性。
在第16届欧洲计算语言学年会上，某研究团队将发表一篇论文，提出一种名为ADePT的新型差分隐私文本转换算法。ADePT 旨在保护隐私，同时不会损失模型的效用。
ADePT 的工作原理
ADePT 使用一种自动编码器，这是一种被训练成能精确输出其输入内容的神经网络。但在输入和输出之间，网络会将其对输入数据的表示压缩成一个相对较小的向量。在训练过程中，网络学习生成一个编码向量，该向量保留了足够的信息，以便能够忠实地重构或解码输入内容。
使用 ADePT 时，首先在与目标自然语言理解系统相关的典型短语上训练一个自动编码器。但在运行时，会在编码向量传递给解码器之前向其添加噪声。因此，解码器看到的向量并不精确编码输入短语，而是编码了在表示空间中接近输入短语的另一个短语。
因此，解码器的输出是对输入的近似，而非精确重构。例如，给定输入“What are the flights on January first 1992 from Boston to San Francisco?”，加入噪声的自动编码器可能输出问题“What are the flights on Thursday going from Dallas to San Francisco?”。然后，使用这些转换后的句子，而非原始输入，来训练NLU模型。
隐私保护与效果评估
差分隐私背后的理念是，从统计上讲，应该无法判断某个特定数据项是否用于生成聚合统计数据。更精确地说，该数据项在数据集内或不在数据集内的概率差异应低于某个阈值。
相应地，为了评估文本转换算法提供的隐私保护能力，我们针对一种称为成员推断攻击的攻击方式进行测试。MIA 旨在推断特定数据点是否为目标模型训练数据的一部分。攻击者训练一个攻击模型，该模型本质上是一个二元分类器，将输入样本分类为成员或非成员。该攻击模型越准确，表明转换提供的隐私保护越弱。
在测试中，攻击目标是在广泛使用的 ATIS 和 SNIPS 数据集上，使用转换后的数据训练的意图分类器。下表展示了一些示例，表明该模型在语义连贯性上优于基线方法：
| 原始样本 | 基线转换 | ADePT 转换 |
|---|---|---|
| what are the flights on january first 1992 from boston to san francisco | what are the flights on february inhales 1923 from boston to san mostrar | what are the flights on thursday going from dallas to san francisco |
| i would like to book a flight for august twenty seventh from baltimore to san francisco on us air | i would like to list all flights for ground transportation from baltimore to general mitchell on us air | i would like to find a flight for august fifth from denver to pittsburgh with lufthansa |
| do you have a night flight from washington to boston on august twenty seventh | do you have a listing flights from beach to boston on coach class | do you have evening flight from vegas to austin on july thirteen |
总体而言，实验表明，该文本转换技术在显著提升模型性能的同时，也增强了对成员推断攻击的鲁棒性。
研究领域： 对话式AI、安全、隐私与滥用防护
标签： 差分隐私、自然语言理解、EACL
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
