SparkSQL对mysql的读写

港控/mmm° 2022-05-08 11:42 377阅读 0赞

## SparkSQL JDBC数据源 ##

！：load这个方法不会真正读取mysql的数据

//1、创建sparkSession
    val sparkSession: SparkSession = SparkSession.builder().appName("JdbcDataSource").master("local[*]").getOrCreate()
        import sparkSession.implicits._
    //2、从数据库中读取数据
        val logs: DataFrame = sparkSession.read.format("jdbc").options(
          Map("url" -> "jdbc:mysql://localhost:3306/bigdata",
            "driver" -> "com.mysql.jdbc.Driver",
            "dbtable" -> "log",
            "user" -> "root",
            "password" -> ""
          )
        ).load()
    
        //logs.printSchema()输出schema信息
    	
        //logs.filter($"age" >12) 过滤年龄大于12的人，查询结果包括了12
    	//方式二，不包含12
    /*    val filtered:Dataset[Row] = logs.filter(
          r => {
            r.getAs[Int](2) < 12
          }
        )
        filtered.show()*/
    
    	
        val nlog: DataFrame = logs.select($"id",$"name",$"age"*10 as "new_age")
    	//将数据写到mysql中
        val pope = new Properties()
        val props = new Properties()
        props.put("user","root")
        props.put("password","")
        nlog.write.mode("ignore").jdbc("jdbc:mysql://localhost:3306/bigdata", "logs1", props)
        logs.show()
        sparkSession.close()
        ```

发表评论取消回复

表情：

评论列表（有 0 条评论，377人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL之External Data读写parquet

准备数据文件在`/home/iie4bu/app/spark-2.4.5-bin-2.6.0-cdh5.15.1/examples/src/main/resources

冷不防/ 2023年07月19日 04:49/ 0 赞/ 24 阅读

相关 CPU对存储器读写

[http://orangelsk.zone/][http_orangelsk.zone] cpu可以进行高速计算，计算需要数据，数据可以存储在内存中。那么cpu在计算时

叁歲伎倆/ 2022年09月09日 09:10/ 0 赞/ 220 阅读

相关 sparkSql 读写Es

目录一、maven相关依赖二、ticket.csv 三、代码四、输出结果五、Es版本问题 -------------------- 一、maven相关依

你的名字/ 2022年09月03日 03:24/ 0 赞/ 225 阅读

相关 java对Blob读写

package com.you.sister; import java.io.BufferedInputStream; import java

落日映苍穹つ/ 2022年08月10日 14:41/ 0 赞/ 202 阅读

相关使用amoeba实现对mysql的读写分离

要实现读写分离，首先得有主从复制的环境。（主库需要打开log-bin-trust-function-creators=1，否则创建或修改函数时会报错）。 1、下载 amoeb

浅浅的花香味﹌/ 2022年05月16日 05:57/ 0 赞/ 210 阅读

相关 SparkSQL对mysql的读写

SparkSQL JDBC数据源！：load这个方法不会真正读取mysql的数据 //1、创建sparkSession val sparkSessio

港控/mmm°/ 2022年05月08日 11:42/ 0 赞/ 378 阅读

相关 mysql 的读写分离

mysql的读写分离的基本原理是：让master（主数据库）来响应事务性操作，让slave（从数据库）来响应select非事务性操作，然后再采用主从复制来把master

古城微笑少年丶/ 2022年05月07日 23:24/ 0 赞/ 231 阅读

相关 SparkSQL读写kudu小记

在操作之前首先要有相应的依赖 <dependency> <groupId>org.apache.kudu</groupId>

今天药忘吃喽~/ 2022年03月06日 07:56/ 0 赞/ 372 阅读

相关 MySQL对空间坐标数据(GEOMETRY字段)的读写

原始数据/数据库要显示的数据: <table> <thead> <tr> <th align="center">id</th> <th align=

布满荆棘的人生/ 2021年11月23日 04:44/ 0 赞/ 1373 阅读

相关 SparkSql 读写Hive 分区表（数据清洗类）

> 主要使用 SparkSql 对 Hive 分区表使用动态分区进行操作，根据规则对数据进行清洗等，除了刚导入数据时指定date范围清洗，后期按天进行清洗。 p

比眉伴天荒/ 2021年09月23日 09:46/ 0 赞/ 545 阅读