引言
想了解一个人的人品一般询问多个熟悉他的人，而不是只问一个人，毕竟一个人的评价难免有失偏颇。对于决策树也是一样，单一的决策树有时候会过拟合，有时候效果不太理想。而随机森林就是利用多棵决策树共同做决策。毕竟三个臭皮匠顶个诸葛亮嘛。
随机森林
随机森林主要利用了 bagging 的思想，也就是多个学习器并行学习，共同预测结果。
随机森林有多棵决策树，每棵决策树并行独立训练。预测时每个决策树都预测出一个结果，大家共同决策：
- 对于分类问题：大家投票少数服从多数
- 对于回归问题：大家求平均值
如何建立随机森林
随机森林之所以叫"随机"森林，是因为建立时有两个随机。
- 每棵树的样本集随机
- 每棵树的属性集随机
样本集随机
假设原始样本集有 N 个样本，则每棵树从中有放回的选择 N 个样本作为自己的样本集，这样每个树的样本集仍然是 N 个。
但由于是有放回的，所以对于一棵决策树而言，有些样本被选择了多次，有些样本没有被选到。
既保证了每棵树样本集个数和分布的一致，又保证了每个树的样本集相对独立。
属性随机
