【论文解读：EXPLANING AND HARNESSING ADVERSARIAL EXAMPLES】

本文介绍: 许多机器学习模型包括神经网络，总是会将对抗样本错误分类，对抗样本是指对数据集中的样本施加微小的但是有目的的最坏情况下（最大化预测误差）的扰动，这样的扰动最终会导致模型以较高自信度来输出一个错误的结果。早期对于对抗样本现象的解释集中于非线性和过拟合。我们反而认为神经网络对于对抗样本脆弱性表现的主要原因在于神经网络模型的线性性质。在我们给出对抗网络在不同架构和训练集上泛化的解释时的大量结果证明了我们这个观点。而且，这个观点产生了一个简单并且快速生成对抗样本的方法。使用这个方法我们能够提供对抗样本来进行对抗训练。

(θ,x,y)=αJ(θ,x,y)+(1−α)J(θ,x+εsign(▽xJ(θ,x,y)))
本论文的实验直接令

0.5

alpha = 0.5

$α = 0.5$ ，没有尝试其他值。以上的方法可以不断更新对抗样本来抵抗当前版本的模型。
对于对抗训练的看法：

对抗训练可以看作为在有对抗扰动的情况下最小化误差的过程
对抗训练可以看作为能够在新的点上要求标签的主动学习的方式。
对抗训练还可以看作为在具有噪声的输入集中进行困难样本挖掘(hard example mining)，通过找到那些对分类器进行分类具有强迷惑性的噪声点来使得模型被更高效地训练。
对于对抗扰动，一个很自然的问题就在于在输入层增加扰动或输出层增加扰动还是在两者都增加扰动？Sze g e d y在论文中提出在隐藏层添加对抗扰动能够产生最好的正则化效果，但我们认为在FGSM方法中仅需在输入层添加对抗扰动即可。

一些低能力的模型不能够做出不同可信度的预测。例如浅层RBF神经网络只能在

$μ$ 附近预测正样本。并且RBF网络天生的就对对抗样本免疫，因为对于对抗样本他们输出低可信度。

对于不同神经网络层数、激活单元数、甚至是同一数据集上的不同子集训练出的模型，同一对抗样本都能够迷惑这些模型的原因在于对抗样本就像是实数空间中的有理数，随处可见但又只出现在特定位置。
不同的分类器模型将同一对抗样本分到同一类的原因在于：底层分类权重的稳定性导致了对对抗样本分类的稳定性。
同时在线性的观点下对抗样本出现在广阔的一位子空间中，扰动

η

eta

$η$ 的方向需要和损失函数梯度的方向呈现正点积，并且

ε

var e psi lon

$ε$ 需要足够大。

假设1：生成训练可以在对抗训练中提供更多的约束，比如学会区别 re al和fa k e 数据，并且只对于re al数据表现出高自信度。（实验表明生成训练并不能抵抗神经网络但仍有可能存在其它形式的生成训练可以抵抗对抗训练）
假设2：对抗样本存在的原因是对于一个单一的模型具有很强的迷惑性，可以通过融合并平均许多模型来抵抗对抗样本。（实验表明，集成的模型只能对对抗扰动表现出有限的抵抗）