模式识别 U11 集成学习– 决策树&随机森林

课堂内容

  • 11.1 决策树
  • 11.2 随机森林

11.1 决策树

  • 关于分类任务

分类任务就是通过学习获得目标函数f，将每个属性集x映射到一个预先定义好的类标号y

  • 分类与回归
    • 分类目标属性y是离散的，回归目标属性y是连续的

11.1.1 决策树基本概念

11.1.2 决策树算法

  1. CLS学习系统
  2. ID3算法
  3. ID4算法
  4. ID5算法
  5. C4.5算法
  6. CART算法
1 算法构建

决策树的基本组成部分：决策结点、分支、叶子

2.ID3算法
训练集的熵
信息增益
算法步骤
小结
3. C4.5算法
4. CART算法
小结

11.2 随机森林