(四)决策树 Decision Tree
基本概念
决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。
机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。
决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术,可以用于分析数据,同样也可以用来作预测。简而言之,决策树(decision tree)是一种基本的分类与回归方法。
在分类问题中,表示基于特征对实例进行分类的过程。它可以被认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。其主要有点是模型具有可读性,分类速度快。学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。预测时,对新的数据,利用决策书模型进行分类。
从数据产生决策树的机器学习技术叫做决策树学习。决策树学习通常包括3个步骤:特征选择、决策树的生成和修剪。
决策树算法分类
| 决策树算法 | 算法描述 |
| ID3算法 | 其核心是在决策树的各级节点上,使用信息增益方法作为属性的选择标准,来帮助确定生成每个节点时所应采用的合适属性 |
| C4.5算法 | C4.5决策树生成算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法。 C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进: (1)用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足; (2)在树构造过程中进行剪枝; (3)能够完成对连续属性的离散化处理; (4)能够对不完整数据进行处理。 C4.5算法有如下优点:产生的分类规则易于理解,准确率较高。其缺点是:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效。 |
| CART算法 | CART( Classification And Regression Tree)即分类回归树算法,它是决策树的一种实现。 CART算法是一种二分递归分割技术,把当前样本划分为两个子样本,使得生成的每个非叶子结点都有两个分支,因此CART算法生成的决策树是结构简洁的二叉树。由于CART算法构成的是一个二叉树,它在每一步的决策时只能为“是”或者“否”,即使一个feature有多个取值,也是把数据分为两部分。在CART算法中主要分为两个步骤: (1)决策树生成:将样本递归划分进行建树过程,生成的决策树要尽量大; (2)决策树剪枝:用验证数据进行剪枝,这时损失函数最小作为剪枝的标准。 |