让我们理解 R 平方和拟合优度。

R 平方

决定系数，$R^2$ 或 $r^2$（“R 平方”），是因变量中可由自变量解释的方差比例。它衡量模型复制观测结果的程度，依据的是模型所解释的结果总变异的比例。

\small \begin{align*} R^2 &= 1 - \frac{SS_{res}}{SS_{tot}}\ &= 1 - \frac{\text{残差平方和}}{\text{总平方和}} \end{align*}

线性回归（右侧）相对于简单平均值（左侧图）对数据的拟合越好，$R^2$ 的值就越接近 1。蓝色正方形的面积代表与线性回归相关的平方残差。红色正方形的面积代表与平均值相关的平方残差。

R 平方的关键局限性：

• 无法判断系数估计和预测是否存在偏差，因此我们必须评估（分析）残差图。

• 不表示回归模型是否合适。我们可能在一个表现良好的模型上得到较低的 $R^2$ 值，也可能在一个不拟合数据的模型上得到较高的 $R^2$ 值。

• R 平方可能出现负值。如果模型拟合比水平线还差，R 平方为负。在这种情况下，R 平方不能被解释为相关系数的平方。这种情况表明应在模型中加入常数项。

通常，准确率评分 $R^2$ 按下式计算：

$R^2 \sim 0.674$ 表示我们的训练模型已捕捉或解释了目标变量中约 67.4% 的变异性。我们的目标是尽可能多地捕捉变异性。因此，$R^2$ 越接近 1 越好。

注意：

$R^2$ = 0：模型未能捕捉或解释数据围绕其均值的任何变异性。

$R^2$ = 1：所有变异性都已在响应数据围绕其均值的情况下被捕捉。

通过思考均值线和模型拟合线，可以理解变异性或方差。

R 平方是一个常见指标，易于理解为模型在捕捉方差方面的准确性。它不依赖于目标变量 $y$ 的尺度。然而，R 平方存在一些问题，我们将在接下来讨论。

注意： 重要的是要理解，较低的 $R^2$ 值并不总是不好的。

回归不仅仅是始终获得最佳预测。在某些领域，例如研究人类行为时，我们并不期望获得更高的分数，甚至接近 0.5 都不现实。如果目标是推断（基于证据和推理得出结论），那么 0.3–0.4 之间的得分可能已足以可靠地衡量所报告的效应。事实上，机器学习远不止于预测。

R 平方的问题

R 平方是回归评估的一个良好指标，因为它显示数据与曲线或直线的拟合程度。然而，如果我们不断添加预测变量，$R^2$ 的值会持续增加（永远不会减少），这是一个问题。类似的问题是，如果数据中包含过多项（数据点）和高阶多项式，可能导致过拟合模型，此时报告的 $R^2$ 值具有误导性。

这时就引入了调整后的 $R^2$，它根据特征/变量数量（$p$）和项/观测数量（$n$）对数值进行调整。它也依赖于 $R^2$ 的值，如公式所示：

$R^2_{adj} = 1-(1-R^2)\begin{bmatrix}\frac{(n-1)}{n-(p+1)}\end{bmatrix}$

• $n$ 是我们数据样本中的点数。
• $p$ 是自变量/特征/回归因子的数量，不包括常数项。

注意：

• 如果新增的特征/预测变量带来的复杂性超过其预测目标变量的能力，$R^2$ 与 $R^2_{adj}$ 之间的差距可能会增大。

• $R^2$ 假设每个特征都能解释目标的变异。然而，$R^2_{adj}$ 告诉我们只有真正影响目标的特征所解释的变异比例。

让我们考虑一些在预测房价时完全无关的特征，例如买家或卖家的年龄、性别、家中居住人数等。在我们上面训练的模型中：

• $R^2 \sim 0.674$ 且 $R^2_{adj} \sim 0.669$。
• 假设增加一个新特征（买家性别 → 男性/女性）后，$R^2$ 上升至 0.715（71.5%）。

这合理吗？如果继续添加更多特征呢？这是误导性的，也是一个问题。必须对 $R^2$ 的值进行调整。假设当我们添加新特征（买家性别 → 男性/女性）到模型以预测房价时，$R^2_{adj} \sim 0.652$。现在，如果我们比较模型，不包含该额外特征的模型仍是一个更好的模型，因为其 $R^2_{adj}$ 值更高，这很合理。

注意： 在数据科学中，理解数据及其特征在领域知识背景下的意义非常重要。我们必须不断与客户和不同背景的专家交流，以提升模型性能。不存在普遍最优的模型，我们必须全面考虑所有因素，以最好地利用现有数据集。

R 平方显示项（数据点）如何拟合一条曲线或直线。调整后的 R 平方也指示项如何拟合一条曲线或直线，但会根据模型中的项数进行调整。如果我们向模型中添加更多无用变量，调整后的 R 平方将下降。如果我们添加更多有用变量，调整后的 R 平方将上升。调整后的 R 平方始终小于或等于 $R^2$。