简化版Transformer

Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」（block）依次堆叠起来，但每个「块」都比较复杂，由许多不同的组件组成，需要以特定的排列组合才能实现良好的性能。

自从 2017 年 Transformer 架构诞生以来，研究者们基于其推出了大量衍生研究，但几乎没有改动过 Transformer 「块」。

那么问题来了，标准 Transformer 块是否可以简化？

在最近的一篇论文中，来自 ETH Zurich 的研究者讨论了如何在不影响收敛特性和下游任务性能的情况下简化 LLM 所必需的标准 Transformer 块。基于信号传播理论和经验证据，他们发现可以移除一些部分，比如残差连接、归一化层（LayerNorm）、投影和值参数以及 MLP 序列化子块（有利于并行布局），以简化类似 GPT 的解码器架构以及编码器式 BERT 模型。

对于每个涉及的组件，研究者都探讨了是否可以在不降低训练速度的情况下将其移除（包括每次更新步骤和运行时间），以及为此需要 Transformer 块进行哪些架构修改。

然而，目前该理论只考虑初始化时的模型，而且往往只考虑初始前向传递，因此无法揭示深度神经网络训练动态的许多复杂问题，例如残差连接对训练速度的助益。虽然信号传播对修改动机至关重要，但研究者表示，他们不能仅从理论上就得出简化的 Transformer 模块，还要依靠经验见解。

在实际应用方面，考虑到目前训练和部署大型 Transformer 模型的高昂成本，Transformer 架构的训练和推理流水线的任何效率提升都代表着巨大的潜在节约意义。如果能够通过移除非必要组件来简化 Transformer 模块，既能减少参数数量，又能提高模型的吞吐量。

这篇论文也提到，移除残差连接、值参数、投影参数和序列化子块之后，可以同时做到在训练速度和下游任务性能方面与标准 Transformer 相匹配。最终，研究者将参数量减少了 16%，并观察到训练和推理时间的吞吐量增加了 16%。

代码007普通

打赏 收藏 海报 链接