决策树信息熵数理剖析

╰+哭是因爲堅強的太久メ 2022-10-02 00:51 23阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

文：张一极 更多人工智能相关文章：[http://siligence.ai][http_siligence.ai]

假如有一个集合为a\[1,2,3,4,5\],另⼀一个集合为b\[1,2,3,2,2,4\]

那么我们对应的应该如何获取两个数据集的信息熵呢,首先我们需要了了解信息熵的 定义,在数学上,信息熵作为数据集混乱程度的计算量化指标,我们获得最后的结果应该是通 过这个公式:

熵 = −∑n pilog2(pi) i=1

在log2n当中,有这么⼀一个特点:与x轴交于\[0,1\],所以当体系混乱的时候,会有特别⼤的负值,那么体系稳定的时候,会有⼩小的负值存在log函数当中,最后归正,体系混乱的数据集, 信息熵就特别⼤大,体系稳定的数据,信息熵就会趋于0.

在数学当中,与信息熵有相同含义的数据有Gini系数: Gini(p) = ∑k pk(1 − pk)

k=1 构造决策树的基本想法是随着树深度的增加,节点的熵迅速降低,降低速度越快越好,

1

信息熵记录拓拓展决策树 那么⼀一开始我们应该如何去寻找rootnode,我们需要计算当前节点的熵值,⽐比如正样

本的概率为0.23,负样本的概率为0.77,熵为\[ -0.23\*log2\_0.23-0.77log2\_0.77 \] 信息增溢,gain(feature):为标准信息熵减去节点信息熵,也就是⼀一开始使⽤用的信息熵

减去使⽤用这个节点作为根节点产⽣生的信息熵,信息增溢让信息熵迅速降低,越快越好,所以我 们选择⼀一个节点肯定是让信息熵下降最快的.

Algorithms:

ID3算法: 信息增溢率,利利⽤用信息增溢值,来与节点⾃自身信息做商,得到信息增溢率,⽐比如说我们⼀一开始⽤用

id作为根节点,那么信息增溢将会最⼤大化,也就是对于整个决策树⽽而⾔言,⽤用id每⼀一个分数都平均的概率 C4.5算法:

那么知道了了信息增溢率,那我们来描述⼀一下评价函数,整个决策树的评价函数就是:

func = ∑ NTH(t)

t−>leaf 那么对应的就是作为评价函数的我们设为func,那么func肯定是越⼩小越好,leaf的意思

是叶⼦子,就是叶⼦子节点的⼀一个信息熵与叶⼦子节点的样本权重. 本算法的优点相⽐比于ID3来说是能够处理理连续性的属性,将连续的属性分成不不同区间,

依据就是Gain值(信息增溢)的⼤大⼩小,并且在构建决策树的时候,可以简单忽略略缺失数据,只计 算有属性值的记录.

决策树的剪枝:

预剪枝: 在构建决策树的过程中,提前停⽌止构建,也就是当样本量量少于某⼀一个阈值的时候,进⾏行行决策树的提前 停⽌止. 后剪枝: 决策树构建完成以后,进⾏行行裁剪:

信息熵记录拓拓展决策树

Loss = func =NT H(t) + a|Tleaf |

\[a:叶子节点个数\]类似于学习率. 叶⼦节点越多,loss函数越大. 每⼀一个节点对应的叶子节点,如果有叶⼦子节点,loss是多少,没有叶⼦节点,也就是剪枝后,loss⼜是多少,取少量为优.

转载于:https://my.oschina.net/u/3999598/blog/3054894

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/869ac9c2549a4875a2a3c91e54b39d09.png
[http_siligence.ai]: http://siligence.ai

发表评论取消回复

表情：

评论列表（有 0 条评论，23人围观）

还没有评论，来说两句吧...

相关阅读

相关信息熵和决策树

在预测分析领域，决策树是可应用于回归和分类任务的算法之一决策树背后的想法是，根据数据集中的特征对当时响应变量的贡献方式，递归地构建一个颠倒的树状结构。在每次迭代中，将以

妖狐艹你老母/ 2024年03月22日 20:03/ 0 赞/ 89 阅读

相关决策树中的信息熵+鸢尾花数据集举例

1 决策树决策树算法是最简单也是最成功的机器学习方法之一。决策树(DT)由内部和外部节点组成。节点之间的相互连接称为树的分支。内部节点是决策单元根据不同的节点决定

朴灿烈づ我的快乐病毒、/ 2023年06月26日 05:48/ 0 赞/ 26 阅读

相关机器学习_决策树(信息熵，决策树，决策树优化，剪枝)

今天开始学决策树，尽管导师每天催任务，但我还是得把机器学习学完，学懂，现在看西瓜书很有感觉。这个机器学习太好了，感觉学着学着就变聪明了一样，不断地让自己的思维变得更敏捷，所以我

桃扇骨/ 2023年05月29日 03:26/ 0 赞/ 36 阅读

相关决策树（信息熵、信息增溢、GINI）的计算

如何构建决策树，我需要选择什么属性来度量，这里我们需要通过计算才能更好的构建一棵决策树。【有以下二分类问题训练样本】 <table> <tbody> <tr>

ゝ一纸荒年。/ 2022年11月24日 15:26/ 0 赞/ 194 阅读

相关决策树信息熵数理剖析

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 文：张一极更多人工智能相关文章：[http://sil

╰+哭是因爲堅強的太久メ/ 2022年10月02日 00:51/ 0 赞/ 24 阅读

相关决策树中信息、熵、信息增益、基尼指数的概念及其python实现

from：http://www.cnblogs.com/fantasy01/p/4581803.html?utm\_source=tuicool 关于对信息、熵、信息增益是信

冷不防/ 2022年05月25日 02:41/ 0 赞/ 317 阅读

相关机器学习之决策树熵&信息增量求解算法实现

此文不对理论做相关阐述,仅涉及代码实现: 1.熵计算公式: P为正例,Q为反例 Entropy(S) = -PLog2(P) - QLog2(Q); 2.信息增量计算:

浅浅的花香味﹌/ 2022年03月27日 05:14/ 0 赞/ 302 阅读

相关 Python scikit-learn，分类，决策树与随机森林，DecisionTreeClassifier，RandomForestClassifier，信息熵

信息熵用来度量信息的混乱程度(不确定性)，单位：比特。（信息熵越小表示结果越确定）信息熵![H(x)][H_x]的公式如下： ![H(x) = - \\sum\_\{i

我会带着你远行/ 2022年03月16日 11:24/ 0 赞/ 211 阅读

相关信息熵

-------------------- 目录 1. 熵 2. 信息熵 3. 参考文章： -------------------- 1. 熵

Bertha 。/ 2021年09月29日 14:10/ 0 赞/ 458 阅读

相关信息熵在决策表中的应用

-------------------- 目录 1. 信息熵的一般形式 2. 信息熵在决策表中的形式 2.1 决策表中的信息熵公式

深碍√TFBOYSˉ_/ 2021年09月29日 12:36/ 0 赞/ 247 阅读