AI 发展史大事件 08：2017 Transformer，开启大模型时代底座

欢迎来到第八展厅。这里摆着一篇改变行业轨迹的论文：《Attention Is All You Need》。

2017 年，Transformer 出现后，AI 的训练和应用范式发生了根本变化。

一、它解决了什么旧问题？

在 Transformer 之前，序列建模主力是 RNN/LSTM。它们的问题主要是：

• 难并行，训练慢
• 长距离依赖难捕捉

Transformer 用自注意力机制替代循环结构，使模型能并行处理整个序列。

二、为什么它会成为“大模型底座”？

Transformer 的强大不只是效果好，而是“可扩展性”极强：

1. 参数规模可持续扩大。
2. 数据规模可持续扩大。
3. 训练硬件并行效率高。

这三点叠加后，出现了后来我们熟悉的路径：

• BERT 代表理解侧突破
• GPT 系列代表生成侧突破
• 多模态模型在同一架构上持续演进

三、从论文创新到产业标准

Transformer 之后，NLP、CV、语音、多模态都逐步被统一到“Transformer 家族”框架中。

这意味着：

• 算法栈更统一
• 工程生态更统一
• 人才学习曲线更可迁移

这也是为什么它在 AI 发展史中的地位，远超一次普通“模型迭代”。

四、它与今天大模型的关系

如果把今天的大模型系统拆开，底层核心仍然是 Transformer 逻辑：

• token 化
• 注意力计算
• 层级堆叠
• 自回归生成

你可以说，2017 年这一事件本质上是给后续十年 AI 产业修了一条主干道。

五、讲解员总结

第八展厅的关键词是“统一底座”。

Transformer 不是第一个神经网络架构，也不是最后一个，但它是迄今最成功的“规模化基础设施型架构”之一。

下一站，我们进入第九展厅：2022 年 ChatGPT。AI 如何从专业工具变成全民产品？

参考资料

1. Vaswani et al. Attention Is All You Need (2017)
2. Devlin et al. BERT (2018)
3. Brown et al. Language Models are Few-Shot Learners (2020)