回归分析回顾及不同回归模型简介

回归模型用于执行回归分析。回归分析帮助我们确定两个或多个变量之间的关系，并推断它们之间的潜在模式。我们主要使用它来实现以下目的：

• 基于一个或多个变量预测另一个变量。
• 分析一个（或多个）变量对另一个变量的影响。

假设我们想分析影响某位学生获得奖学金机会的因素。某些因素可能会影响学生的录取概率，例如成绩、发表论文、撰写出色的个人陈述（SOP）等。每个因素都可能对获得奖学金的机会产生正面或负面影响。

同样，假设我们要根据里程数、事故记录、车辆状况、车型等因素预测一辆车的转售价格。每个因素都可能对最终转售价格产生正向或负向影响。例如，最新款的车型可能会提高转售价格，而有事故记录则可能降低最终价格。

总结来说，回归分析就是基于一个变量来推断或预测另一个变量。

回归模型可分为以下三大类：

• 线性回归
• 多项式回归
• 逻辑回归

线性回归假设自变量（预测因子）与因变量（目标变量）之间存在线性关系。它在具有线性关系的数据点上拟合一条最佳拟合直线。下图展示了线性关系：

我们观察到x和y变量之间呈正相关关系：随着x变量的增加，y变量也随之增加。线性回归模型会为数据点拟合一条最佳拟合直线，如下所示：

我们称其为最佳拟合线，因为它反映了数据点整体所传达的趋势。如图所示，部分数据点距离其他点较远——这些是异常值；而大多数点聚集在同一个区域。线性回归模型会考虑这一点，并根据数据分布尝试拟合出最合适的直线。

多项式回归用于预测自变量与因变量之间的关系，当数据分布呈现非线性时适用。它与线性回归类似，但将变量间的关系表示为n次多项式。因此，最佳拟合线不是直线，而是一条随多项式次数变化的曲线。

例如，在下图中，数据点呈现出非线性关系：

如果尝试用线性回归直线（如下图所示）拟合非线性数据，该直线可能无法准确贴合数据点，导致无法从中识别出任何有效模式。

为了从非线性分布中理解规律，我们可以尝试拟合多项式方程。例如，对于上述数据分布，我们可对数据点拟合一个三次多项式回归，结果如下图所示：

我们发现，所得曲线并非直线，而是弯曲的，并尽可能贴近每一个数据点。

逻辑回归用于预测某一事件发生的概率。当我们的因变量是离散型变量时使用。例如，给定一组变量，预测一封邮件是否会被标记为垃圾邮件。

我们也可以预测某位运动员是否赢得比赛，或根据报告的症状判断新冠检测结果是否为阳性。在所有这些例子中，有一个共同点：目标变量中的事件是互斥的，即在同一时间只能有一个成立。

S型函数（也称逻辑函数）用来描述这些变量之间的关系，并计算概率值，其取值范围在0到1之间，如下图所示：

图中的红色曲线是由S型函数生成的逻辑曲线。S型函数接收输入并输出一个介于0到1之间的值。

通常，我们会设定一个阈值来做出最终判断。例如，在下图中，假设x轴代表有助于判断邮件是否为垃圾邮件的特征，y轴代表邮件过滤的标签。可以设定一个阈值，比如低于0.5视为非垃圾邮件，高于0.5视为垃圾邮件，如图所示。阈值的选择会因具体应用场景而异。