Spark读取MySQL数据

妖狐艹你老母 2021-10-13 02:53 440阅读 0赞

import java.util.\{Properties, UUID\} import org.apache.spark.sql.\{SaveMode, SparkSession\} import org.apache.spark.SparkConf object SparkReadMySQL \{ def main(args:Array\[String\]):Unit = \{ val appNameSuffix = UUID.randomUUID() val config = new SparkConf().setMaster("local\[\*\]").setAppName("SparkReadMySQL\_"+appNameSuffix) val spark = SparkSession.builder.config(config).getOrCreate() import spark.implicits.\_ val jdbcUrl = "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false" def dbConnProperties(user:String, pass:String):Properties = \{ val ConnProperties = new Properties(); ConnProperties.put("driver", "com.mysql.jdbc.Driver"); ConnProperties.put("user", user); ConnProperties.put("password", pass); ConnProperties.put("fetchsize", "1000"); //读取条数限制 ConnProperties.put("batchsize", "10000"); //写入条数限制 return ConnProperties; \} val dbUser = "root" val dbPass = "123456" val readConnProperties = dbConnProperties(dbUser,dbPass); val sql = "select a.\* ,b.week from dm\_raw\_data a left join dm\_week\_alignment b on a.day = b.day where b.week between '20180901' and '20180902'" val df = spark.read.jdbc(jdbcUrl, s"($\{sql\}) t",readConnProperties) // 显示前100行 df.show(100) val toPath = "/data1/tmp" //合并为一个文件输出 df.coalesce(1).write.format("csv").option("charset","utf-8").option("delimiter", ',') .mode(SaveMode.Append).save(toPath) //直接输出 df.write.format("csv").option("charset","utf-8").option("delimiter", ',') .mode(SaveMode.Append).save(toPath) spark.stop() \} \}

参考：[https://my.oschina.net/k8king/blog/2876556][https_my.oschina.net_k8king_blog_2876556]

[https_my.oschina.net_k8king_blog_2876556]: https://my.oschina.net/k8king/blog/2876556

发表评论取消回复

表情：

评论列表（有 0 条评论，440人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark 读取hive数据写入hbase

，saveAsNewAPIHadoopDataset批量写入（千万级别以下使用） > import org.apache.hadoop.hbase.client...

末蓝、/ 2024年04月17日 06:30/ 0 赞/ 100 阅读

相关 Spark读取kafka数据

Spark 读取kafka数据版本： sprak3.0 1.sprak获取kafka连接 object MyKafkaUtil {

朱雀/ 2023年10月06日 23:25/ 0 赞/ 47 阅读

相关 Spark 数据读取保存

`Spark` 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统：文件格式：`Text` 文件、`Json` 文件、`csv` 文件、`Sequenc

我不是女神ヾ/ 2023年09月29日 18:47/ 0 赞/ 30 阅读

相关 Spark SQL读取hive数据时报找不到mysql驱动

Exception： Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke th

谁践踏了优雅/ 2022年05月21日 03:43/ 0 赞/ 232 阅读

相关 SPARK Spark SQL读取hive数据时报找不到mysql驱动

错误提示：Attempt to invoke the "DBCP" plugin to create a ConnectionPool gave an error `将

心已赠人/ 2022年05月19日 12:11/ 0 赞/ 247 阅读

相关 11.9 spark SQL读取MySQL数据

注意别忘记了驱动包：mysql-connector-java-5.1.6.jar public static void main(String\[\] args) \{

绝地灬酷狼/ 2022年05月16日 03:13/ 0 赞/ 245 阅读

相关 Spark连接MySQL数据库并读取数据

（作者：陈玓玏）打开pyspark，带驱动的那种用命令行启动pyspark时需要加上jdbc的驱动路径： pyspark --driver-class-p

短命女/ 2022年04月14日 05:06/ 0 赞/ 449 阅读

相关 Spark读取Hbase数据

\[size=medium\] 直接上代码：可以上传jar包，给远程的spark集群，这样能在idea中windows环境上运行代码： \[/size\]

以你之姓@/ 2022年04月12日 12:27/ 0 赞/ 367 阅读

相关 Spark读取MySQL数据

import java.util.\{Properties, UUID\} import org.apache.spark.sql.\{SaveMode, SparkSessi

妖狐艹你老母/ 2021年10月13日 02:53/ 0 赞/ 441 阅读

相关 Spark并发读取MySQL

> Spark读取MySQL数据量过大，一直停在Added broadcast\_0\_piece0 in memory on cdh-master问题。 > > 19/09

朱雀/ 2021年09月23日 07:58/ 0 赞/ 317 阅读