衡量模型准确性
分类模型预测准确性的衡量方法可以分为以下几类： 1. 混淆矩阵（Confusion Matrix） 混淆矩阵是一个表格，用于展示分类模型在测试数据上的预测结果与真实标签之间的对比。它包含四个基本指标： - 真正例（True Positive, TP）：实际为正类且被正确预测为正类 - 假正例（False Positive, FP）：实际为负类但被错误预测为正类 - 真负例（True Negative, TN）：实际为负类且被正确预测为负类 - 假负例（False Negative, FN）：实际为正类但被错误预测为负类 2. 准确率（Accuracy） 准确率是正确预测的样本占总样本数的比例： $$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$ 适用于类别分布均衡的情况，但在类别不平衡时可能产生误导。 3. 精确率（Precision） 精确率衡量的是预测为正类的样本中，真正为正类的比例： $$ \text{Precision} = \frac{TP}{TP + FP} $$ 用于关注预测为正类的准确性，尤其在假阳性代价较高的场景中重要。 4. 召回率（Recall / Sensitivity） 召回率衡量的是实际为正类的样本中，被正确预测为正类的比例： $$ \text{Recall} = \frac{TP}{TP + FN} $$ 用于关注模型对正类样本的识别能力，常用于需要尽可能找出所有正类的场景。 5. F1 分数（F1-Score） F1 分数是精确率和召回率的调和平均值，综合评估两者表现： $$ \text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$ 适用于需要平衡精确率与召回率的场景。 6. ROC 曲线与 AUC 值 - ROC 曲线（Receiver Operating Characteristic Curve）以假正率（FPR）为横轴，真正率（TPR）为纵轴，展示不同阈值下的分类性能。 - AUC（Area Under the Curve）是 ROC 曲线下面积，取值范围为 0 到 1，AUC 越高表示模型区分能力越强。 适用于评估模型在不同分类阈值下的整体性能。 7. PR 曲线（Precision-Recall Curve） PR 曲线以召回率为横轴，精确率为纵轴，特别适用于类别不平衡的数据集，能更清晰地反映模型在少数类上的表现。 8. 对数损失（Log Loss） 对数损失衡量预测概率与真实标签之间的差异，适用于输出概率的模型。值越小表示预测越准确： $$ \text{Log Loss} = -\frac{1}{N} \sum_{i=1}^{N} \left[ y_i \log(p_i) + (1 - y_i) \log(1 - p_i) \right] $$ 其中 $y_i$ 是真实标签，$p_i$ 是预测为正类的概率。 9. Cohen's Kappa 系数 该系数衡量分类结果与随机猜测之间的一致性，考虑了类别分布的影响，比准确率更具鲁棒性。 这些方法从不同角度评估分类模型的性能，应根据具体任务需求选择合适的指标组合使用。