Spark文本挖掘机器学习实现

浅浅的花香味﹌ 2022-05-27 04:39 228阅读 0赞

## 本文主要是通过招聘网站爬取的招聘信息对招聘信息进行分类结合文本相关spark 算法，包括spark中机器学习算法的使用，文本挖掘的一些方法，特征值的转换 ##

##### 给定文件的格式 #####

![这里写图片描述][70]

#### ①.通过spark相关API将爬取到的数据进行处理，得到结构化的数据表 ####

*  读取json文件并对其中的标点进行过滤

val conf = new SparkConf().setAppName("input").setMaster("local[*]")
        val filter = new StopRecognition()
        filter.insertStopNatures("f","b","p","d","w","v","c","u") //过滤掉标点
        val sparkContext = new SparkContext(conf)
        val sqlContext = new SQLContext(sparkContext)
        val url = "C:\\Users\\shuangmm\\Desktop\\data\\jobarea=010000&industrytype=01.json"
        val dataDF =sqlContext.read.format("json")
          .option("header","true")
          .option("inferSchema",true.toString)//这是自动推断属性列的数据类型。
          .load(url)//.show(10)//文件的路径

#### ②.分析某几个条件下的分类数量排名（1-3年工作经验的大数据工程师的平均薪资情况） ####

*  将文件存储为dataframe的形式之后，为了求出某一分类下的平均薪资排名情况，在创建好的dataframe中选取相关的几列
 *  进行文本的分割，关键词的提取  
    将文本过滤掉一些不常用的词，并将分好的词按照空格分隔开，在最后加了一个筛选条件，因为在分词划分之后将形容词和名词等全部分割，所以需要用这种方式来进行条件的筛选。

val pay_job = dataDF.select("slry","title","expr")
        val slry_rank = pay_job.rdd.map { x =>
          ToAnalysis.parse(x.toString()).recognition(filter).toStringWithOutNature(" ")//.toString()//
          }.filter {
          x => (x.contains("数据")&x.contains("大")&x.contains("工程师"))//将含有大数据工程师筛选
        }//.foreach(println)

分割后的结果  
![这里写图片描述][70 1]

*  查看和计算薪资情况  
    计算平均薪资的标准是两个间隔之间的平均值，因为有按月计算也有按年计算的最后全部统一为万/年的标准  
    a) 对rdd进行分词，为了计算平均值，将薪资的边界取出。  
    b) 将单位转换  
    Unit取得是工资的单位，date是时间的计算单位，使用了一个匹配，将平均值的单位转换。  
    c) 将计算好的结果，按格式输出  
    因为在字符划分的时候会有异常出现，字符串的格式和其他的格式不太相同，所以用了一个try catch语句捕获分割的异常。
 *  将计算好的结果按排名输出

val rank = slry_rank.map { x =>
           try {
             val s = x.split(" ")(1)
             val s1 = x.split(" ")(0).toDouble
             val ss = s.substring(0, s.length - 1).toDouble
             val unit = x.split(" ")(1).last
             val date = x.split(" ")(2)
             val mean = (s1 + ss) / 2 * (unit match {
               case '万' => 1
               case '千' => 0.1
             } )* (date match {
               case "月" => 12
               case "年" =>1
             })
            // val des = x.split("年").last//(3)+x.split(" ")(4)//+x.lastOption
             (mean ,"大数据工程师")
           } catch {
             case ex: NumberFormatException => {
               (0.0,"无")
             }
           }
         }.sortBy(_._1,false,1).foreach(println)

排名结果  
![这里写图片描述][70 2]

#### ③ 将 dscr 描述字段提纯后通过算法对用人需求记录打标签。 ####

##### 总体思路，观察文件的结构可知文件中有一列是cate用来记录岗位的信息，dscr是用来描述岗位，使用，cate作为标签，dscr作为特征进行来进行训练 #####

*  读取文件转换成dataframe的格式
 *  选取特征列和标签列
 *  进行文本处理，首先将标签列处理成数字索引的形式

val strStop = Source.fromFile(new File("C:\\Users\\shuangmm\\Desktop\\stopword.txt"))("utf-8")
       .getLines().toArray
        val dscr = dataDF.select("cate","dscr")
        val index = new StringIndexer()
          .setInputCol("cate")
          .setOutputCol("cateIndex_String")
          .fit(dscr)
        //dscr.show(10)

*  处理dscr特征列  
    1) 进行分词  
    2) 停用词的过滤  
    3) Hash值转换  
    4) Idf值转换

val remover = new StopWordsRemover()
        .setStopWords(strStop)
        .setInputCol("words")
        .setOutputCol("filter")
        val re = remover.transform(wordsData)//.show(5)
        val hashingTF =
          new HashingTF().setInputCol("filter").setOutputCol("rawFeatures").setNumFeatures(1000)
        val featurizedData = hashingTF.transform(re)
    
        val idf = new IDF().setInputCol("rawFeatures").setOutputCol("features")
        val idfModel = idf.fit(featurizedData)
       // val rescaledData = idfModel.transform(featurizedData)
        //rescaledData.show(5)

*  数据划分，划分成训练集和预测集
 *  随机森林模型建立
 *  将标签的索引形式反转回汉字的形式使用

val Array(trainingData, testData) = featurizedData.randomSplit(Array(0.7, 0.3))
        val rf = new RandomForestClassifier()
          .setLabelCol("cateIndex_String")
          .setFeaturesCol("features")
          .setNumTrees(15)
        val labelConverter = new IndexToString()
          .setInputCol("prediction")
          .setOutputCol("predictedLabel")
          .setLabels(index.labels)

*  创建pineline
 *  创建模型进行预测  
    需要注意的是在执行fit方法的时候会执行indexers，所以之前的方法不能再fit，否则会输出某某列已经存在了。

val pipeline = new Pipeline()
          .setStages(Array(index,idfModel, rf, labelConverter))
       // trainingData.show(5)
    
        // Train model. This also runs the indexers.
        val model = pipeline.fit(trainingData)
    
        // Make predictions.
        val predictions = model.transform(testData)
    
        // Select example rows to display.
        predictions.select("predictedLabel",  "filter").show(100)
        val evaluator = new MulticlassClassificationEvaluator()
          .setLabelCol("cateIndex_String")
          .setPredictionCol("prediction")
          .setMetricName("accuracy")
        val accuracy = evaluator.evaluate(predictions)
        println("Test Error = " + (1.0 - accuracy))

预测结果  
![这里写图片描述][70 3]

## 总结和感想： ##

错误率还算比较高0.87左右，主要是没有在标签文本中做一些处理，比如一些初级软件工程师和高级软件工程师其实可以划分成为一个类别，此处没有细分。本次实验主要是spark文本信息的一些处理和分析，包括模型的建立以及做一些预测，碰到的一些问题主要是在文字分割的部分，还有在特征文本转化的时候，总会出现类型不匹配的问题，在vector和string之间的处理一直转换不明白，后来换了一种处理方法，在spark官网上看到了一些分类模型的处理方式，创建pineline的方法。最大的收获就是以后要多看官网上的方法！！！可以避坑。时间比较仓促  
详细代码请看这里  
[点开有惊喜][Link 1]

[70]: /images/20220527/6781ab02c90a4ef38770f385c198d072.png
[70 1]: /images/20220527/e6361055b99047bd996cdfc9689ce23c.png
[70 2]: /images/20220527/ba484900d51a42b180812188c38c8714.png
[70 3]: /images/20220527/b033627f5d584025a4d86cb0dd81b2c6.png
[Link 1]: https://github.com/random0815/shuang_0815/blob/master/SparkProject/SparkML/src/Requirment.scala