ML笔记 - 决策树相关

什么是决策树

在这里插入图片描述

如何构建决策树

在这里插入图片描述
在这里插入图片描述

  • 决策树使用信息增益来衡量一个特征是否重要,而信息增益又是通过信息熵来定义的
  • 明确信息度量方式:信息增益、信息熵、基尼系数
  • 明确分支终止条件:纯度、记录条数、循环次数
  • 选取信息增益最大的特征为当前最佳特征
  • 常用的决策树算法有ID3、C4.5、CART等

模型融合

模型融合的作用是利用不同模型之间的差异性来提升最终的整体预测效果。
常用的模型融合方式有:

  • 投票 Vote Blend
  • 均值/加权均值 Average/Weight Average
  • Stacking

集成学习

GBDT

在这里插入图片描述

Bagging

在这里插入图片描述

Boosting

在这里插入图片描述

RandomForest

在这里插入图片描述

©️2020 CSDN 皮肤主题: 鲸 设计师:meimeiellie 返回首页