章节回顾

在本章中，我们将探讨图像分类的含义，并学习最流行的架构是如何进行图像分类的。

1. 首先，我们将比较全连接神经网络与卷积神经网络之间的差异及其适用场景。
2. 接着，学习如何将两者结合，构建图像分类架构。
3. 最后，我们将从早期到最新的成功技术演进过程中，分析它们带来的创新之处。

我们还将解释深度神经网络训练中的主要问题、网络规模以及计算成本的估算方法，以帮助理解这些创新背后的设计逻辑。

卷积神经网络 vs. 全连接神经网络

除了训练策略相似而基本结构不同之外，卷积神经网络与全连接神经网络之间还有哪些优缺点？

全连接网络与卷积网络中的连接方式

在全连接神经网络（FCNN）中，输入层的每个神经元都与输出层的每一个神经元相连。而在卷积神经网络（CNN）中，每个输出神经元仅与输入神经元的一个局部邻域区域相连。

结果

• 由于不需要对所有神经元进行数学运算，卷积神经网络的计算成本更低。

• 卷积神经网络更适合提取局部特征，而全连接网络则基于全局信息做出判断，考虑了网络中所有神经元的信息。因此，卷积神经网络主要用于提取特征图，而全连接网络则利用所有输入的特征图进行最终分类预测。

全连接网络与卷积网络中的权重

在全连接网络中，每个神经元都有独立的权重；而在卷积神经网络中，权重是共享的（即同一个滤波器在整个输入上滑动使用）。

结果

卷积神经网络每层的参数数量（包括权重和偏置）远少于全连接网络，这使得我们能够在模型更小的情况下构建更深的神经网络。

在期望图像分类模型能够成功预测之前，我们必须先对其进行训练。这意味着：

1. 必须明确模型需要区分多少个类别。例如，我们希望构建一个能区分雏菊、蒲公英和玫瑰三种花卉的分类模型。

2. 需要为每个类别提供若干示例图像，告诉模型什么是雏菊、蒲公英和玫瑰。

3. 在输入带有标签的图像时，模型会尝试预测数据的类别，计算损失值（预测结果与真实标签之间的差异），并通过反向传播更新权重。

因此，当模型进入预测阶段时，我们期望它能将一张玫瑰花的图片正确分类为“玫瑰”。

如前所述，常见的神经网络通常由卷积层和全连接层组合而成。但也存在仅由卷积层构成的全卷积神经网络，以及仅由全连接层组成的全连接神经网络。接下来我们将开始分析主流的图像分类架构。你会发现，大多数架构之所以在中间层使用卷积层来提取特征，在最后使用全连接层进行预测，正是基于上述原因。

大规模视觉识别挑战赛（LSVRC）

大规模视觉识别挑战赛（LSVRC）是一项竞赛，研究团队在这个平台上使用大规模标注图像数据集（ImageNet）评估其算法，并在多项视觉识别任务上竞争更高的准确率。我们在后续课程中将要学习的许多著名网络架构，都是该赛事历年比赛的优胜者。

ImageNet 是一个包含超过1500万张高分辨率标注图像的数据集，涵盖约22,000个类别。LSVRC 使用其中的一个子集，包含1000个类别，每个类别大约有1000张图像，总计约120万张训练图像、5万张验证图像和10万张测试图像。