导入
决策树入门
了解决策树。
决策表
| Outlook | Windy | Humidity | Playing |
|---|---|---|---|
| Sunny | T | High | No |
| Overcast | T | Normal | Yes |
| Rainy | T | Normal | Yes |
| Rainy | T | High | No |
| Sunny | F | Normal | Yes |
| . | . | . | . |
| . | . | . | . |
| . | . | . | . |
...
Visual decision tree
...
Visual decision tree
A、B 和 C 的目标类别表
| A | B | C | Target |
|---|---|---|---|
| 1 | 1 | 1 | green |
| 1 | 1 | 0 | green |
| 0 | 0 | 1 | blue |
| 1 | 0 | 0 | blue |
我们在右侧为 A、B 和 C 创建了一个简单的分割图表。显然，A 和 C 并未完美地分割类别。
在 B 处进行分割可以清晰地区分目标类别。我们有 1 表示绿色，0 表示蓝色。
...
Splitting at B
\normalsize H = - \sum_{i=1}^{n} p_{i} \log_{2} p_{i} \ \small p_{i} ; \text{is the probability of} ; i
\small IG = H_\text{parent node}-H_\text{child nodes} \small \text{ (weighted sum of the entropy of the children)}
分割结果
| 按特征分割 | A | B | C |
|---|---|---|---|
| IG | 0.31 | 1 | 0 |
| 分割质量 | 差 | 最佳 | 最差 |
\small Gini = 1 - \sum_{i=1}^{C}(p_{i})^{2} \ \small Gini = 1 - \text{(每个类别的概率平方和)}
Gini 指数
| 按 A 分割 | 按 B 分割 | 按 C 分割 |
|---|---|---|
| A = 1 & T = G => 2/3A = 1 & T = B => 1/3GI = 1 - {2/3^2 + 1/3^2} = 1 - {0.44 + 0.11} = 1 - 0.55 = 0.45 | B = 1 & T = G => 2/2 = 1B = 1 & T = B => 0GI = 1 - 1 - 0 = 0 | C = 1 & T = G => 1/2C = 1 & T = B => 1/2GI = 1 - {1/2^2 + 1/2^2} = 1 - {0.25 + 0.25} = 1 - 0.50 = 0.50 |
| GI = 0.45 | GI = 0 | GI = 0.50 |
| 差 | 最佳 | 最差 |