【论文解读：EXPLANING AND HARNESSING ADVERSARIAL EXAMPLES】

(θ,x,y)=αJ(θ,x,y)+(1−α)J(θ,x+εsign(▽x​J(θ,x,y)))
本论文的实验直接令

α

=

0.5

alpha = 0.5

α=0.5，没有尝试其他值。以上的方法可以不断更新对抗样本来抵抗当前版本的模型。
对于对抗训练的看法：

• 对抗训练可以看作为在有对抗扰动的情况下最小化误差的过程
• 对抗训练可以看作为能够在新的点上要求标签的主动学习的方式。
• 对抗训练还可以看作为在具有噪声的输入集中进行困难样本挖掘(hard example mining)，通过找到那些对分类器进行分类具有强迷惑性的噪声点来使得模型被更高效地训练。
  对于对抗扰动，一个很自然的问题就在于在输入层增加扰动或输出层增加扰动还是在两者都增加扰动？Szegedy在论文中提出在隐藏层添加对抗扰动能够产生最好的正则化效果，但我们认为在FGSM方法中仅需在输入层添加对抗扰动即可。

不同模型的能力

一些低能力的模型不能够做出不同可信度的预测。例如浅层RBF神经网络只能在

μ

mu

μ附近预测正样本。并且RBF网络天生的就对对抗样本免疫，因为对于对抗样本他们输出低可信度。

为什么对抗样本具有泛化性？

对于不同神经网络层数、激活单元数、甚至是同一数据集上的不同子集训练出的模型，同一对抗样本都能够迷惑这些模型的原因在于对抗样本就像是实数空间中的有理数，随处可见但又只出现在特定位置。
不同的分类器模型将同一对抗样本分到同一类的原因在于：底层分类权重的稳定性导致了对对抗样本分类的稳定性。
同时在线性的观点下对抗样本出现在广阔的一位子空间中，扰动

ε需要足够大。

可能的假设

• 假设1：生成训练可以在对抗训练中提供更多的约束，比如学会区别real和fake数据，并且只对于real数据表现出高自信度。（实验表明生成训练并不能抵抗神经网络但仍有可能存在其它形式的生成训练可以抵抗对抗训练）
• 假设2：对抗样本存在的原因是对于一个单一的模型具有很强的迷惑性，可以通过融合并平均许多模型来抵抗对抗样本。（实验表明，集成的模型只能对对抗扰动表现出有限的抵抗）

总结和讨论

本文提出了以下观点：

• 对抗样本可以说是高维点积的一个属性，是模型过于线性的结果而不是非线性的结果。
• 对抗样本在不同模型泛化的原因可以被解释为对抗扰动和模型权重向量高度一致的结果。
• 扰动的方向而非空间中的特定位置最重要。
• 提出了FGSM方法产生对抗样本
• 发现了对抗训练可以正则化模型。
• 易于优化的模型易受扰动。
• 线性模型缺少抵抗对抗样本的能力，只有那些至少含有一个隐藏层的模型（通用逼近器原理）才能够被训练用来抵抗对抗扰动。
• RBF网络抵抗对抗样本。
• 模拟输入训练出的模型不能够抵抗对抗样本。
• 集成模型不能够抵抗对抗样本。

代码007普通

打赏 收藏 海报 链接