贝叶斯法则

我们可以利用贝叶斯法则，将给定输入特征向量 $\bold{x}$ 时目标变量 $y$ 的目标概率分布 $p(y|\bold{x})$ 表示如下：

$$p(y|\bold x) = \frac{p(\bold x|y)p(y)}{p(\bold x)}$$

其中，$p(y|\bold x)$ 表示在事件 $\bold x$ 发生的条件下，事件 $y$ 发生的概率，称为后验概率。$p(\bold x|y)$ 表示在事件 $y$ 发生的条件下，事件 $\bold x$ 发生的概率，称为似然。$p(y)$ 是在未考虑任何新证据之前事件 $y$ 发生的先验概率，而 $p(\bold x)$ 是在未考虑任何新证据之前事件 $\bold x$ 发生的概率。

在讨论概率分布时，$p(\bold{x}|y)$ 被称为类条件数据分布，$p(y)$ 被称为类先验分布，而 $p(\bold{x})$ 表示数据分布。根据计算目标分布 $p(y|\bold{x})$ 所采用的方法不同，各种模型可以被划分为不同类型。

假设有一个分类模型，它输出关于目标变量的概率分布。这里，$c$ 表示数据点的类别，$x_i$ 是输入数据点，$f_{w}(x_i)$ 是一个分类模型，接收输入数据点并输出该数据点属于各个类别的概率。例如，对于类别 $0$，其输出为 $p(\hat y_i = 0|x_i)$。在此情况下，我们假设有 3 个类别，因此模型会输出 $x_i$ 属于这三个类别的概率，且所有这些概率之和为 1，即 $\sum^2_{c=0} p(\hat y_i = c|x_i)$。

判别式模型

生成式模型通过估计数据分布来计算目标分布，而判别式模型则采取不同的方法。判别式模型直接估计目标分布，而不显式地建模数据分布。换句话说，判别式模型专注于学习从输入特征到目标变量的映射关系，而不对数据生成过程进行建模。通过直接估计目标分布，这类模型旨在捕捉决策边界或输入特征与目标变量之间的关系。这种建模策略上的差异体现了生成式模型与判别式模型之间的本质区别。

基于概率模型的分类

考虑一个 $k$ 类分类数据集 $D$，记作 $D = \{(\bold{x}_1, y_1), (\bold{x}_2, y_2), \dots, (\bold{x}_n, y_n)\}$，其中每个输入特征向量 $\bold{x}_i \in \mathbb{R}^d$，对应的标签 $y_i$ 属于集合 $\{1, 2, \dots, k\}$。

当给定一个特征向量 $\bold{x}$ 时，其属于类别 $j$ 的概率可通过贝叶斯法则计算：

$$p(y=j|\bold x)=\frac{p(\bold x|y=j)p(y=j)}{p(\bold x)}$$

在这个公式中，$p(y=j|\bold{x})$ 表示类别标签上的概率分布，可通过生成式或判别式建模方式进行估计。无论采用何种方式估计目标分布，在做预测时，我们都选择使该概率最大的类别标签，即：

$$\hat{y}=\argmax_j[p(y=j|\bold x)]$$

简单来说，这是一种进行分类预测的方法：给定输入数据 $\bold{x}$，我们计算它属于每一个可能类别 $j$ 的条件概率，并将具有最高概率的类别作为预测结果 $\hat{y}$。

基于概率模型的回归

当目标变量 $y$ 为连续值时，可以通过估计条件概率分布 $p(y|\bold{x})$ 的期望来进行预测。预测值 $\hat{y}$ 由以下积分给出：

$$\hat{y}=\int yp(y|\bold x) dy=E[y|\bold x]$$

换言之，$\hat{y}$ 是在给定特征向量 $\bold{x}$ 条件下 $y$ 的期望值，通过对 $y$ 与其对应的条件概率密度函数 $p(y|\bold{x})$ 的乘积在整个 $y$ 取值范围上积分得到。这提供了在给定输入特征 $\bold{x}$ 时，对 $y$ 预测值的一种集中趋势度量。