导入
线性回归入门
了解线性回归、无免费午餐定理以及偏差-方差权衡。
我们有两个数据点，$a$ 和 $b$，如图所示。如果我们画一条尽可能接近每个点的直线，这条线将穿过这些点。
使用最小二乘法（经典线性回归和标准方法）拟合一条直线时，我们仅测量上下方向的接近程度。
让我们再添加两个数据点， 和 ：
...
Line diagram for a and b
现在，如果我们按照相同的规则——最小二乘法——画一条直线，对于给定的数据点，这条线将会不同。它可能不会穿过数据点。
问题如下：
- 黑色直线是给定数据点的最佳拟合线吗？
- 如果是，为什么？
...
Line diagram for a, b, c, and d
让我们进一步探索，以了解最佳拟合线。
按照标准方法，最小二乘法中的最佳拟合最小化残差的平方和：残差是观测值与模型提供的拟合值之间的差异。
为了在线性回归中获得最佳拟合线，我们试图最小化所有数据点到拟合线的垂直距离（图中红色双箭头线）。
...
Best-fitted line in linear regression
...
Dr. Galton's father and son height data plot
...
Bias and variance
如果我们的训练数据分布良好，模型的预测结果将接近靶心。如果我们的训练数据包含大量异常值或非标准值，则会导致预测效果较差。这些不同的实现结果会在靶上形成散布的命中点。
偏差-方差权衡
偏差-方差具有以下权衡关系。考虑下图中从 1 到 4 的数值。
-
低偏差，低方差：预测值准确落在靶心。
-
低偏差，高方差：预测值围绕靶心分布，且方差较高。
-
高偏差，低方差：在特定位置存在高偏差，但方差较低。
-
高偏差，高方差：预测值四处分散。
...
Bias-variance trade off
...
Complex and wrong vs. simple and good
...
Bias and variance contributing to the total error