java中spark创建oracle连接,Spring中使用Spark连接的DataSource

落日映苍穹つ 2023-01-18 15:29 12阅读 0赞

在Spring中配置Spark hive-thriftserver的连接DataSource与配置其他数据源连接方式是一样的，如一般Oracle数据源配置，使用如下必须的Jar包：

![2c8f46bd95ee7e7029f96154172f60a8.png][]

使用JDBC程序示例：package com.hadoop.test;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

public class ThreadSql extends  Thread  \{

@Override

public void run() \{

excSparkSql();

\}

public  void  excSparkSql() \{

String result = "";

Connection conn = null;

Statement stmt = null;

try \{

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");

conn = DriverManager.getConnection(

"jdbc:hive://10.20.12.214:10000/test\_db", "hduser001", "");

stmt = conn.createStatement();

String sql = " select count(1) from test\_data ";

long start = System.currentTimeMillis();

ResultSet res = stmt.executeQuery(sql);

long cost = System.currentTimeMillis() - start;

result = Thread.currentThread().getName() + ": " + cost/1000.0f + "s";

System.out.println(result);

stmt.close();

conn.close();

\} catch (Exception e) \{

try \{

stmt.close();

conn.close();

\} catch (SQLException e1) \{

// TODO Auto-generated catch block

e1.printStackTrace();

\}

e.printStackTrace();

\}

\}

\}

在Spring中配置如下，类似oracle的datasource配置，并在其他的ServiceBean中将其注入即可

destroy-method="close">

destroy-method="close">

[2c8f46bd95ee7e7029f96154172f60a8.png]: /images/20221021/4e65096683ed497890d1c4a5516bb087.png

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark连接mysql(scala)版本

最近在了解学习大数据相关的内容，然后一般来说。连接数据库或者Hive等数据源是比较重要的部分，所以在这里先尝试了使用mysql作为数据源来连接并在控制台展示数据 va

素颜马尾好姑娘i/ 2023年10月09日 09:34/ 0 赞/ 65 阅读

相关使用spark rdd连接mysql数据源

Spark 支持通过Java JDBC访问关系型数据库。需要通过JdbcRDD进行，示例如下: 1. 在pom.xml中添加mysql的依赖 <dependen

小鱼儿/ 2023年06月11日 09:29/ 0 赞/ 21 阅读

相关 java中spark创建oracle连接,Spring中使用Spark连接的DataSource

在Spring中配置Spark hive-thriftserver的连接DataSource与配置其他数据源连接方式是一样的，如一般Oracle数据源配置，使用如下必须的Jar

落日映苍穹つ/ 2023年01月18日 15:29/ 0 赞/ 13 阅读

相关 JAVA、Spark、Python连接Redis

前面已经详细的和大家说过Redis，接下来就和大家说下Redis和其它得集成，以及如何操作Redis: 首先说下Java时如何操作redis： JAVA连接Redis

朱雀/ 2022年12月02日 12:21/ 0 赞/ 165 阅读

相关 Spark连接mysql的多种方式

大家都知道Spark可以和各种数据库进行连接并读取数据，前面已经和大家说过如何使用spark连接hive,今天就说说如何连接mysql并读取数据。方法一：在linux下使

缺乏、安全感/ 2022年11月27日 06:48/ 0 赞/ 704 阅读

相关 IDEA创建spark maven项目并连接远程spark集群

环境： scala：2.12.10 spark：3.0.3 1、创建scala maven项目，如下图所示： ![watermark_type_ZHJvaWRzYW5z

红太狼/ 2022年09月09日 06:25/ 0 赞/ 250 阅读

相关 spring中以dataSource方式使用proxool连接池

spring中以dataSource方式使用proxool连接池 (by goodhumor) 方式一：在Spring的"applicationContext.xm

曾经终败给现在/ 2022年05月27日 05:08/ 0 赞/ 218 阅读

相关 sparklyr连接spark

1，安装sparklyr RStudio安装好后，需要安装sparklyr包来连接spark；https://spark.rstudio.com/guides/connect

小鱼儿/ 2022年05月25日 13:35/ 0 赞/ 140 阅读

相关 Spark 连接Hive 表格失败

spark 连接hive 在Windows本地跑不动，报错如下。只需要把jar 运行的jar 包打包，放到linux 上即可。 2018-06-11 08:56

迈不过友情╰/ 2022年05月21日 23:26/ 0 赞/ 308 阅读

相关 spark直接连接postgre数据库

注意点：数据存入Mysql或是postgre注意事项 A. 尽量先设置好存储模式默认为SaveMode.ErrorIfExists模式，该模式下，如果数据库中已经

Myth丶恋晨/ 2022年04月23日 15:54/ 0 赞/ 212 阅读