Spark MLlib决策树ID3代码

川长思鸟来 2022-07-16 09:12 195阅读 0赞

代码：

package workStudy.MLlib
    
    import org.apache.spark.mllib.tree.DecisionTree
    import org.apache.spark.mllib.util.MLUtils
    import org.apache.spark.{SparkConf, SparkContext}
    /**
     *  决策时 -- ID3
     */
    object day3 {
      def main(args: Array[String]) {
        val conf =new SparkConf()
        .setMaster("local")
        .setAppName("day3")
        val sc=new SparkContext(conf)
        val data=MLUtils.loadLibSVMFile(sc,"E://machinedata/ID3/sparkMLlib.txt")
        //val data=sc.textFile("")
    
        val numClasses=2 //设置分类数量
        val categoricalFeatureInfo=Map[Int,Int]() //设定输入格式
        val impurity="entropy" //设定信息增信计算公式
        val maxDepth=5  //设定树高度
        val maxBins=3   //设定分裂数据集
    
        val model=DecisionTree.trainClassifier(data,numClasses,categoricalFeatureInfo,impurity,maxDepth,maxBins)  //建立模型
        println("model.depth:" + model.depth)
        println("model.numNodes:" + model.numNodes)
        println("model.topNode:" + model.topNode)
      }
    }

结果：

model.depth:4
    model.numNodes:11
    model.topNode:id = 1, isLeaf = false, predict = 1.0 (prob = 0.625), impurity = 0.9544340029249649, split = Some(Feature = 0, threshold = 0.0, featureType = Continuous, categories = List()), stats = Some(gain = 0.04879494069539847, impurity = 0.9544340029249649, left impurity = 0.8112781244591328, right impurity = 1.0)

数据：

1 1:1 2:0 3:0 4:1
    0 1:1 2:0 3:1 4:1
    0 1:0 2:1 3:0 4:0
    1 1:1 2:1 3:0 4:1
    1 1:0 2:0 3:0 4:0
    1 1:0 2:1 3:1 4:0
    1 1:1 2:0 3:0 4:1
    0 1:1 2:0 3:1 4:1
    0 1:0 2:1 3:0 4:0
    1 1:1 2:1 3:0 4:1
    1 1:0 2:1 3:1 4:0
    1 1:0 2:1 3:0 4:1
    0 1:1 2:1 3:1 4:1
    1 1:0 2:0 3:1 4:0
    0 1:1 2:1 3:1 4:1
    1 1:0 2:0 3:1 4:0

发表评论取消回复

表情：

评论列表（有 0 条评论，195人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark MLlib

基本概念 1. 项不项集这是一个集合的概念，在一篮子商品中的一件消费品即一项（item），则若干项的集合为项集，如{啤酒，尿布}构成一个二元项

矫情吗；*/ 2022年12月17日 15:54/ 0 赞/ 196 阅读

相关机器学习——决策树函数（ID3）

决策树一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。决策树的每个内部节点表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个树叶结

Myth丶恋晨/ 2022年09月14日 08:59/ 0 赞/ 186 阅读

相关决策树（1）ID3

一、决策树在1986年，机器学习研究者J.Ross Quinlan 开发了决策树算法，称为ID3（Iterative Dichotomiser,迭代的二分器）。这项工作

我就是我/ 2022年08月17日 14:09/ 0 赞/ 224 阅读

相关 Spark MLlib决策树ID3代码

代码： package workStudy.MLlib import org.apache.spark.mllib.tree.Decisi

川长思鸟来/ 2022年07月16日 09:12/ 0 赞/ 196 阅读

相关 Spark MLlib聚类代码

部分数据： 1.658985 4.285136 -3.453687 3.424321 4.838138 -1.151539 -5.3

偏执的太偏执、/ 2022年07月16日 08:39/ 0 赞/ 186 阅读

相关 ID3决策树（R实现）

说明 1.参考文章：[R语言实现决策树ID3算法][R_ID3] 2.补充了分类预测的函数部分 3.采用数据框模拟xml文件的方式存储决策树代码训练集

叁歲伎倆/ 2022年06月08日 09:49/ 0 赞/ 314 阅读

相关 ID3决策树（Java实现）

说明参考文章-[归纳决策树ID3（Java实现）][ID3_Java]，完成代码编写。在原代码的基础上补充了预测函数，实现利用模型对新数据进行分类预测。作者

た入场券/ 2022年06月08日 08:42/ 0 赞/ 294 阅读

相关 ID3决策树

知识准备：信息熵熵是无序性（或不确定性）的度量指标。加入事件A的全概率划分是（A1,A2,…An），每部分发生的概率是（p1,p2,…pn），那信息熵定义为：

深藏阁楼爱情的钟/ 2022年06月08日 08:28/ 0 赞/ 256 阅读

相关决策树算法之ID3

1. 决策树的基本认识决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象

本是古典何须时尚/ 2022年06月07日 10:41/ 0 赞/ 261 阅读

相关 ID3算法决策树

决策树优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型本

今天药忘吃喽~/ 2022年06月01日 22:45/ 0 赞/ 255 阅读