AI 发展史大事件 04：1986 反向传播复兴，神经网络重获生命

欢迎来到第四展厅。这里是一场“方法论复活”。

如果说前一展厅讲的是“神经网络为何降温”，这一展厅讲的就是“神经网络如何重新站起来”。

一、关键问题：多层网络怎么训练？

早期研究者已经知道多层网络更强，但一直有个难点：

• 输出误差如何有效传回前面每一层参数？

1986 年，Rumelhart、Hinton、Williams 的工作系统化展示了反向传播（Backpropagation）在多层网络中的可行训练路径。

二、反向传播到底做了什么？

核心思想很朴素：

1. 前向传播：计算预测值。
2. 计算损失：衡量预测与真实差距。
3. 反向传播：用链式法则把梯度从后往前传。
4. 参数更新：让每一层都朝降低损失方向调整。

听起来像“数学细节”，但它真正改变的是工程能力：

多层神经网络从“想法”变成“可训练系统”。

三、它为什么不是“立刻爆发”？

很多人会疑惑：1986 都有反向传播了，为什么深度学习要到 2010 年后才大爆发？

因为还差三块拼图：

• 算力（尤其 GPU）
• 大规模数据
• 更稳定的工程实践（初始化、正则化、激活函数等）

也就是说，反向传播是“引擎”，但当时道路和燃料还不够。

四、长期影响

反向传播带来的长期影响可以概括为三层：

• 方法层：深层可微模型训练成为主流范式。
• 框架层：后来的自动微分系统都建立在同一思想上。
• 产业层：语音、视觉、NLP 大规模神经网络成为可能。

今天你在 PyTorch 或 TensorFlow 写下 loss.backward()，其实就是在调用这段历史。

五、讲解员总结

第四展厅告诉我们一个简单却重要的事实：

• 技术史里的“关键突破”不一定马上带来产业震荡。
• 但它会在很长时间里，决定未来哪些路线能够跑通。

下一站，我们去看 1997 年 Deep Blue：当 AI 第一次在世界聚光灯下击败人类棋王。

参考资料

1. Rumelhart, Hinton, Williams. Learning representations by back-propagating errors (1986)
2. LeCun et al. Gradient-based learning applied to document recognition (1998)
3. Goodfellow, Bengio, Courville. Deep Learning