统计学

过拟合与欠拟合的区别是什么？

很多人认为模型拟合是机器学习的概念，但这并不正确。模型拟合是一个古老的统计学概念，在机器学习中被广泛使用。为了构建模型，我们会将数据集分为两部分：训练数据集和测试数据集。测试数据集也被称为新数据。因此，请不要被这些术语混淆。我们基于训练数据集来建立模型，并在测试数据集上检验模型的表现。

过拟合与欠拟合的主要区别在于：过拟合的模型在训练数据集上具有很高的准确率，但在测试数据集上的表现却很差。欠拟合的模型准确率较低，因此在测试数据集上也无法良好表现。

你会选择线性回归模型、R平方还是调整后的R平方？

R平方和调整后R平方都是用于衡量线性回归模型准确性的指标。当我们在模型中增加更多自变量时，R平方值总是会增大。然而，只有当新增变量确实提升了模型的准确性时，调整后R平方才会增加。因此，我们应选择调整后R平方来评估和选择模型。

什么是第一类错误和第二类错误？

第一类错误是指在原假设为真时错误地拒绝它的概率。例如，考虑一个诚实的人却被怀疑的情况。此时原假设是“此人诚实”，备择假设是“此人说谎”，但我们却拒绝了原假设。第二类错误是指在原假设为假时未能拒绝它的概率。例如，一个说谎的人却被信任的情况。此时原假设仍是“此人诚实”，备择假设是“此人说谎”，但我们没有拒绝原假设。

为什么当用连续随机变量近似离散随机变量来计算离散随机变量的概率时，需要进行连续性校正？

当用连续随机变量近似离散随机变量以计算其概率时，需要进行连续性校正，因为离散随机变量只取整数值，而连续随机变量可以取任意实数值。连续性校正有助于在样本量较大时更准确地计算每个离散随机变量的概率。例如，正态分布是一种连续分布，它可以取区间内的任意值，常用来近似二项分布。

什么是p值？

p值的定义是数据科学面试中最常见的问题之一。许多面试官抱怨，很多人虽然知道如何使用p值，却并不理解其真正含义。p值是在原假设成立的前提下，从相同大小的样本中重复抽样，得到至少与当前样本统计量一样极端的结果的概率。

如果这个概率大于显著性水平（如5%），我们就不能拒绝原假设，因为这意味着我们的样本统计量在原假设下更可能发生，因此与原假设一致。如果这个概率小于显著性水平，我们就拒绝原假设，因为这意味着我们的样本统计量在原假设下不太可能发生，因此与原假设不一致。

假设你有一个数据集，其中某些变量彼此高度相关。你需要对这些数据进行主成分分析。你应该先移除相关变量吗？如果是，为什么；如果不是，又为什么不是？

我们应该先移除高度相关的变量，因为如果保留它们，包含相关变量的主成分所解释的方差会偏高。此外，主成分分析会赋予相关变量更高的权重，导致提取出的主成分产生误导性结果。

在回归建模中，插值和外推分别是什么意思？

插值是指利用数据集中已有的自变量值来估计因变量的新值。外推则是指利用数据集中不存在的自变量值来估计因变量的新值。

什么是混杂变量？

混杂变量是与因变量和自变量都相关，但未被纳入模型中的变量。例如，若研究体重增加对血压的影响，脂肪摄入量可能是一个混杂变量，因为它与体重增加和血压均呈线性关系。

什么是AIC？

AIC（赤池信息准则）是衡量逻辑回归模型拟合优度的指标，它会对模型中变量数量进行惩罚。因此，我们倾向于选择AIC值最小的模型，以获得变量较少且性能最佳的模型。AIC可视为逻辑回归中调整后R平方的类似度量。

主成分分析中使用正交旋转的目的是什么？

正交旋转旨在最大化各主成分之间所解释方差的差异，使主成分能够更有效地解释数据的整体方差。通过旋转，我们可以用比原始变量更少的主成分来代表数据，从而降低数据维度，简化分析过程。如果没有进行旋转，主成分分析的效果将减弱，需要更多的主成分才能解释数据中的方差，这违背了降维的目标。因此，应当对主成分进行旋转。