简介：决策树与随机森林

概述

在本章中，我们将把重点转向近年来在数据科学领域掀起热潮的另一类机器学习模型：基于树的模型。本章首先介绍单棵决策树的基本原理，然后讲解由多个决策树组成的随机森林模型，如何有效缓解单棵决策树容易过拟合的问题。通过阅读本章，你将能够使用决策树进行机器学习建模，可视化训练好的决策树，并训练随机森林模型且直观展示其结果。

在前两章中，我们已经深入理解了逻辑回归的工作机制，并积累了大量使用 Python 中 scikit-learn 包构建逻辑回归模型的经验。

用于机器学习的决策树

接下来我们将介绍一种与逻辑回归完全不同的强大预测模型：决策树。决策树及其衍生模型是当前通用机器学习任务中性能最出色的模型之一。利用树结构进行决策的概念非常直观，因此决策树模型具有很强的可解释性。然而，决策树的一个常见问题是容易对训练数据过拟合。为了解决这一问题，研究人员提出了集成方法，例如随机森林，通过组合多个决策树协同工作，从而实现比任何单棵决策树更优的预测效果。

![决策树示意图]

我们将看到，在案例研究的数据上，决策树和随机森林模型的预测能力相比此前使用的逻辑回归模型将进一步提升。