集成学习是机器学习中一种强大的技术，它通过组合多个独立模型来构建一个更强、更准确的预测模型。该方法通过对不同模型的预测结果进行聚合，提升整体性能，从而克服单个模型的局限性。在本节课中，我们将探讨集成学习的概念，理解其重要性，并了解这一技术的实际应用。

什么是集成学习？

集成学习是指在同一个数据集上训练多个模型，并将它们的预测结果进行整合，以得到最终预测结果的方法。集成中的每个模型可以使用不同的算法或同一算法的不同变体独立训练。然后，集成系统通过多种方式（如取平均值、投票或加权投票）合并这些模型的预测结果，形成最终输出。集成学习的核心思想在于：通过融合多样化的模型，能够降低偏差、增强鲁棒性，并获得更好的泛化能力。

为什么需要集成学习？

为了更好地理解集成学习的必要性，我们假设共有 $n$ 个模型，每个模型出错的概率为 $p$。由于各模型相互独立，多数模型同时出错的概率可按如下方式计算：

$$\begin{align*} p_k &= {n \choose k}.p^k.(1-p)^{n-k} \\ p_{m} &= \sum_{k=\frac{n}{2}+1}^{n} {n \choose k}.p^k.(1-p)^{n-k} \\ \end{align*}$$

其中，$p_k$ 表示恰好有 $k$ 个模型出错的概率，而 $p_m$ 表示超过半数（即多数）模型同时出错的概率。

举一个具体例子：设 $n=5$，$p=0.1$，我们可以计算多数模型出错的概率 $p_m$ 如下：

$$\begin{align*} p_{m} &= \sum_{k=\frac{n}{2}+1}^{n} {n \choose k} (0.1)^k.(1-0.1)^{n-k} \\ p_{m} &= {5 \choose 3}(0.1)^3.(0.9)^{2} + {5 \choose 4}(0.1)^4.(0.9)^{1} + {5 \choose 5}(0.1)^5.(0.9)^{0} \\ p_{m} &= (10)(0.001)(0.81) + (5)(0.0001)(0.9) + (1)(0.00001)(1) \\ p_{m} &= 0.0081 + 0.00045 + 0.00001 \\ p_{m} &= 0.0086 \\ \end{align*}$$

说明：根据上述计算，单个模型出错的概率为 10%，而集成模型整体出错的概率仅为 0.86%（小于 1%）。

在单个模型出错概率低于 0.5 且各模型相互独立时，增加模型数量通常会降低多数投票的出错概率；但若单个模型出错概率高于 0.5，集成结果可能反而更差。

以下是上述例子中计算 $p_m$ 的代码实现：

1from math import comb
2
3def calculate_error_probability(n, p):
4    p_majority = 0.0
5    k_start = n // 2 + 1
6
7    for k in range(k_start, n + 1):
8        probability = comb(n, k) * (p ** k) * ((1 - p) ** (n - k))
9        p_majority += probability
10
11    return p_majority
12
13# 模型总数
14n = 5
15
16# 单个模型出错的概率
17p = 0.1
18
19p_majority = calculate_error_probability(n, p)
20print(f"多数模型同时出错的概率为: {p_majority}")

代码说明如下：

• 第 1 行：从 math 模块导入 comb 函数，用于计算组合数 ${n \choose k}$，即从 $n$ 个元素中选出 $k$ 个的方式数目。

• 第 3–5 行：定义函数 calculate_error_probability，接收参数 n（模型数量）和 p（单个模型出错概率）。初始化 p_majority 为 0.0 用于累加概率，并计算起始索引 k_start = n // 2 + 1，对应“多数”的最小模型数。

• 第 7–9 行：循环从 k_start 到 n，对每个 k 计算二项分布概率：组合数乘以 $p^k$ 再乘以 $(1-p)^{n-k}$，并将结果累加到 p_majority 中。

• 第 11 行：返回累计得到的多数模型出错概率。

• 第 14–20 行：调用该函数并传入示例中的参数值，将结果保存在 p_majority 变量中并打印输出。