导入
基于树的方法简介
本课程将介绍基于树的机器学习方法，包括决策树、随机森林和梯度提升。
快速概述
基于树的学习算法，也称为 #key# CART：分类与回归树 #key#，在预测数值型和类别型输出方面非常流行。
基于树的方法（如决策树、装袋法、随机森林、提升法等）在监督学习中效果显著，这主要得益于其高准确性和灵活性，因为它们能够预测离散和连续的输出结果。
我们将介绍三种基于树的算法：
- 决策树
- 随机森林
- 梯度提升
决策树
决策树（DT） 通过将数据划分为多个组来构建决策结构，以识别数据中的模式。它利用能够使数据划分后各组尽可能同质或数值上更相关的变量进行分割，划分依据通常是熵（用于衡量不同类别间的数据方差）。决策树的主要优势在于可以图形化地以树状图形式展示，便于向非专业人士解释。
随机森林
为缓解过拟合问题，可采用一种称为随机森林（RF） 的方法，即通过构建多棵决策树来提升模型性能。该方法对每棵树使用输入数据的随机子集进行训练，并通过在回归任务中取平均输出、在分类任务中进行类别投票的方式整合各树的结果。
梯度提升
与随机森林类似，提升法也是一种用于聚合多个决策树结果的回归与分类技术。
不同于随机森林中并行构建多个相互独立的决策树，梯度提升（GB） 是一种串行方法，其目标是逐步改进每一棵后续树的性能，从而提升整体模型的预测能力。