rpart 决策树中的 rel 误差和 x 误差有什么区别？ [关闭]

我有一个来自 UCI 机器学习数据库的纯分类数据框https://archive.ics.uci.edu/ml/datasets/Diabetes+130-US+hospitals+for+years+1999-2008 https://archive.ics.uci.edu/ml/datasets/Diabetes+130-US+hospitals+for+years+1999-2008

我正在使用 rpart 根据患者是否在 30 天前返回的新类别（新的失败类别）形成决策树。

我的决策树使用以下参数

    tree_model <- rpart(Failed ~ race + gender + age+ time_in_hospital+ medical_specialty + num_lab_procedures+ num_procedures+num_medications+number_outpatient+number_emergency+number_inpatient+number_diagnoses+max_glu_serum+ A1Cresult+metformin+glimepiride+glipizide+glyburide+pioglitazone+rosiglitazone+insulin+change,method="class", data=training_data, control=rpart.control(minsplit=2, cp=0.0001, maxdepth=20, xval = 10), parms = list(split = "gini"))

打印结果产生：

       CP     nsplit rel error  xerror     xstd
1 0.00065883      0   1.00000  1.0000   0.018518
2 0.00057648      8   0.99424  1.0038   0.018549
3 0.00025621     10   0.99308  1.0031   0.018543
4 0.00020000     13   0.99231  1.0031   0.018543

我看到随着决策树分支的增加，相对误差会下降，但是 xerror 会上升 - 我不明白这一点，因为我认为错误会减少分支越多，树就越复杂。

我认为 xerror 是最重要的，因为大多数树修剪方法都会从根部修剪树。

为什么修剪树时要重点关注xerror？ 而当我们总结一下决策树分类器的误差是多少时，误差是0.99231还是1.0031？

x-error 是交叉验证错误（rpart 有内置交叉验证）。您可以一起使用 rel_error、xerror 和 xstd 这 3 列来帮助您选择修剪树的位置。

每行代表树的不同高度。一般来说，树的层数越多意味着训练时的分类误差越低。但是，您面临过度拟合的风险。通常，随着树获得更多级别（至少在“最佳”级别之后），交叉验证错误实际上会增加。

经验法则是选择lowest水平，其中rel_error + xstd < xerror.

如果你跑plotcp在您的输出中，它还会向您显示修剪树的最佳位置。

另请参阅 SO 线程如何计算决策树的错误率？ https://stackoverflow.com/questions/9666212/how-to-compute-error-rate-from-a-decision-tree