深度学习的兴起

本课程的第三部分为一场革命铺平了道路。在最后一章中，我们将深入探讨被称为深度学习的重大突破。

深度学习的故事始于感知机：联结主义者与符号主义者的对立，以及联结主义者如何被质疑并被迫退居科研边缘。
20世纪70年代，机器学习研究者发现了通过反向传播训练神经网络的方法。经过多年的努力，他们终于克服了感知机的局限，能够处理非线性数据。一度看来，联结主义似乎要卷土重来——但正如历史所示，这一新希望也很快黯淡下去。

本章将延续这段历史，直至_深度学习的诞生_。我们还将解释，以目前所知，是什么让深度学习如此有效，并优于早期方法。最后几节课将指出一些路径，供你在完成本课程后继续探索这个崭新的世界。

在20世纪90年代，神经网络研究再次陷入低谷。尽管反向传播已被发现，联结主义者也取得了一些引人注目的成果，例如用于美国邮政服务手写数字识别的系统，但人工智能学界对神经网络仍持怀疑态度。

普遍共识是，普通神经网络只能解决简单问题，仅此而已。要应对更复杂的挑战，我们需要深度神经网络，而这类网络极其复杂：它们_训练缓慢、容易过拟合_，并饱受诸如_梯度消失_等棘手问题的困扰。联结主义者虽然攻克了反向传播，却依然未能赢得同行的认可。

随后，一系列事件的发生彻底改变了局面。

汇聚成完美风暴

从20世纪90年代到2010年代初，机器学习的发展历程极为引人入胜。尽管人们对神经网络普遍持怀疑态度，仍有一批研究人员坚持不懈地推动这一领域前进。如今，该领域的知名人物包括_Geoffrey Hinton、Yann LeCun、Yoshua Bengio_等人。

这些执着的先驱逐一攻克了深度网络面临的紧迫难题。他们提出了新颖的权重初始化方法和如ReLU的激活函数，以缓解梯度消失与梯度爆炸问题；通过更优的优化算法和激活函数加速网络训练；发明了诸如Dropout的新正则化技术，有效抑制过拟合。

与此同时，这些开拓者还创造或完善了构建神经网络的全新方式。全连接网络在处理图像、文本和语音等复杂数据时表现不佳，早期深度网络实践者为此类数据量身定制了新型架构，例如我们在上一章讨论过的卷积神经网络（CNN），以及将在后续课程中探讨的循环神经网络（RNN）。这些新架构在数十年进展甚微的人工智能细分领域迅速取得了突破。

除了卓越的技术能力和坚定信念外，深度网络的先驱们也受益于时代机遇。在此期间，计算领域发生了两大变革：图形处理器（GPU）的普及，以及互联网的迅猛发展，极大推动了他们的研究。

GPU是因3D电子游戏而流行起来的_大规模并行图形处理器_。进入2000年代后，随着CPU性能提升放缓，GPU却日益强大，且特别适合神经网络计算。与神经网络类似，3D图形渲染主要依赖大量矩阵运算并追求高速执行。在CPU上训练深度网络耗时极长，而在GPU上可提速数十倍。

第二个助力来自互联网，它帮助解决了早期深度网络的一个关键问题：即便采用各种正则化技术，模型仍会在小规模数据集上持续过拟合。
在通过更多数据控制过拟合中我们了解到，收集更多数据是对抗过拟合的第一道防线。当互联网公司崛起时，它们为研究者提供了前所未有的海量数据及处理这些数据所需的经济资源。

2012年，所有这些因素汇聚在一起，形成了一场“完美风暴”。

转折点

2012年，三位深度网络研究者（Geoffrey Hinton、Alex Krizhevsky 和 Ilya Sutskever）参加了备受关注的ImageNet计算机视觉竞赛。在此之前，ImageNet一直由传统方法主导，在基准数据集上的准确率从未超过75%。这支名为AlexNet的深度卷积网络横扫赛场，取得了惊人的84.7%准确率。人们从未见过如此压倒性的表现。

这是一个分水岭时刻。“深度学习”这一名称取代了曾饱受争议的“神经网络”，迅速风靡开来。随着研究资金激增，Google、Facebook等公司纷纷招揽该领域的先驱，委以领导其新兴AI部门的重任。深度网络变得越来越深，层数达到数百层——这在几年前还被认为是荒谬的数字。它们在各个AI领域不断打破长期保持的纪录，其发展速度令人难以追赶。

很快，神经网络成为机器学习中最受欢迎的思想。在本课程第一章中我们了解到，机器学习主要有三大分支：

• 监督学习——本课程的主题
• 强化学习——通过试错进行学习
• 无监督学习——从无标签数据中提取意义的一系列算法

深度神经网络渗透到了这三个领域，常常取代了长期占据主导地位的传统方法。

自20世纪60年代以来，联结主义思想在人工智能领域长期被边缘化。事后看来，这种排斥使AI的发展严重受限。几十年间，人工智能最杰出的头脑屡屡高调承诺却难见成果。如今，自_Minsky关于感知机的著作_以来，联结主义思想首次重新获得广泛认可，人工智能也因此实现了飞跃。神经网络迅速取代了在自然语言处理、图像识别和医学诊断等关键领域中效果有限的符号主义AI。语音助手、自动图片描述生成、复杂的推荐系统逐渐成为常态。曾经难以想象的技术，如自动驾驶汽车，也开始进入公众讨论视野。历经多年沉寂，联结主义终于重返舞台中心。

未完待续……

故事的其余部分仍有待书写。当我们结束本课程时，深度学习的进步仍未显疲态。它被誉为人工智能领域的一场革命——这在传统上一向保守的学术圈中实属罕见的高度赞誉。无论好坏，深度学习正在改变世界。

这场变革背后有多个关键因素：

• 反向传播使得训练神经网络成为可能；
• 数十种新技术，如ReLU、Dropout和Xavier初始化，为构建_更深的神经网络_铺平了道路；
• 新型强大架构，如卷积神经网络和循环神经网络，显著提升了复杂数据集上的准确性；
• 更强的计算能力，尤其是GPU，使深度网络不仅可行，而且具备实际应用价值；
• 大规模数据集使深度网络得以充分发挥其泛化能力，而非陷入过拟合。

上述每一个要素都至关重要。然而，若没有另一个更为无形却至关重要的因素——那些在长达数十年的反对声中始终坚持推进机器学习的先驱们的坚韧不拔——这一切或许都不会发生。他们逆流而上，攻克了大多数同行认为无法解决的问题。今天我们拥有深度学习，正是归功于他们的坚持。

至此，深度神经网络已然主宰人工智能。但我们尚未揭示它们为何如此强大的核心奥秘。