编辑：袁铭怿
网络规模的数据集很容易受到低成本的投毒攻击，这种攻击只需要一小部分被破坏的样本就可以使整个模型中毒。
用于训练深度学习模型的数据集已经从数千个精心策划的示例增长到具有数十亿个从互联网自动爬取样本的网络规模数据集。在这种规模下，通过人力管理来确保每个示例的质量是不可行的。到目前为止，这种数量高于质量的权衡是可以接受的，一方面是因为现代神经网络对大量标签噪声具有很强的适应力，另一方面是因为对噪声数据的训练甚至可以提高模型在非分布数据上的效用。
虽然大型深度学习模型对随机噪声具有一定的包容性，但训练集中即使是极少量的对抗性噪声（即中毒攻击）也足以在模型行为中引入针对性错误。先前研究认为，在缺乏人力管理情况下，对现代深度学习模型的中毒攻击是可行的。然而，尽管存在潜在的威胁，目前看来，还没有发生过涉及网络规模数据集中毒的真实攻击。部分原因可能在于，之前的研究忽略了一个问题：对手如何确保他们损坏的数据会被纳入一个网络规模的数据集。
本文，来自谷歌、苏黎世联邦理工学院等机构的研究者撰文介绍了两种新的数据中毒攻击方式：
分割视图数据中毒（Split-view data poisoning）：第一个攻击目标是当前的大型数据集（例如 LAION-400M)，并利用研究者在收集时看到的数据可能与最终用户在训练时看到的数据不同（显著且随机）这一事实。
Frontrunning 数据中毒：第二种攻击利用了流行的数据集，比方说，维基百科的 snapshot。这种中毒方式是可行的：因为即使内容审核人员在事后检测并恢复恶意修改，攻击者的恶意内容也会持续存在于训练深度学习模型的 snapshot 中。
论文地址：https://arxiv.org/pdf/2302.10149.pdf
研究在 10 个流行的数据集上探索了这两种攻击的可行性。结果表明，即使对低资源攻击者来说，这些攻击也是可行的：只需 60 美元的成本，就可以毒害 LAION-400M 或 COYO-700M 数据集的 0.01%。
为了对抗这些中毒方式，本文将介绍两种防御措施：
完整性验证：通过为所有已索引的内容分发加密哈希来防止分割视图中毒；
基于时间的防御：通过随机数据快照和引入网络规模数据集的顺序来防止 Frontrunning 数据中毒。
除此以外，本文还将讨论这些防御措施的局限性以及未来的解决方案。
两种攻击手段