Spark连接mysql的多种方式

缺乏、安全感 2022-11-27 06:48 693阅读 0赞

大家都知道Spark可以和各种数据库进行连接并读取数据，前面已经和大家说过如何使用spark连接hive,今天就说说如何连接mysql并读取数据。

## 方法一：在linux下使用spark连接mysql ##

首先在hive的 lib中拷贝mysql依赖包到spark的jars下或者直接把驱动包复制到jars目录下

cp /opt/soft/hive110/lib/mysql-connector-java-5.1.38.jar /opt/soft/spark240/jars/

在bin目录下启动./spark-shell界面操作

配置url,tableName，prop

#配置url
    val url = "jdbc:mysql://spark1:3306/dtatbase_name" 
    
    #配置表名
    val tableName = "users" 
    
    // 设置连接用户、密码、数据库驱动类
    val prop = new java.util.Properties
    prop.setProperty("user","root")
    prop.setProperty("password","1234")
    prop.setProperty("driver","com.mysql.jdbc.Driver")
    
    // 取得该mysql数据库的表数据
    val jdbcDF = spark.read.jdbc(url,tableName,prop)
    jdbcDF.printSchema()
    jdbcDF.show
    
    //DF存新的表t1到mysql 和查询的表的结构一样，类型没具体定义的话会自动定义相应类型
    jdbcDF.write.mode("append").jdbc(url,"t1",prop)

## 方法二：在IDEA中使用spark连接mysql ##

import java.util.Properties
    import org.apache.spark.sql.{ DataFrame, SparkSession}
    
    object MysqlDemo extends App { 
    private val spark: SparkSession = SparkSession.builder().master("local[2]").appName("mysql")  .getOrCreate()
    
    //TODO 配置url,tableName，prop
    val url="jdbc:mysql://spark1:3306/database_name"
    val tableName="users"
    
    val prop = new Properties()
    prop.setProperty("user","root")
    prop.setProperty("password","123456")
    prop.setProperty("driver","com.mysql.jdbc.Driver")
    
     //TODO spark连接mysql,读取mysql中的表并将其转换成df
     val mysqlDF: DataFrame = spark.read.jdbc(url,tableName,prop)
      mysqlDF.printSchema()
      mysqlDF.show()
      spark.stop()
    }

**注意：**  
在连接MySQL数据库的时候，不能使用hive表中的数据，而且配置的url,tableName，prop都不能出错，尤其是url、账号和密码，一旦有一个出错就连接不成功！所以一定要细心