使用spark sql创建hive数据仓库无法正常操作

不念不忘少年蓝@ 2023-09-24 18:38 14阅读 0赞

## 问题 ##

### 详细问题 ###

##### spark sql创建hive数据仓库 #####

// 获取sparkSession
        private void ObtainSparkSession() {
        
            spark = SparkSession.builder()
                    .master("local[*]")
                    .appName("DataFrame on Hive")
                    .enableHiveSupport()// 添加hive支持
                    .getOrCreate();
    
            spark.sql("use myhivedb");
        }
        
        // 关闭sparkSession
        private void CloseSparkSession() {
        
            spark.close();
        }
        
        // 创建hive数据仓库
        @PostMapping("/createTable")
        public void createTable() {
        
            ObtainSparkSession();
            spark.sql("create table test(id int, name string, age int) row format delimited fields terminated by '\\t' stored as textfile location  location '/usr/data/test'").collectAsList();
            CloseSparkSession();
        }
        
        // 向已创建hive数据仓库中插入数据
        @PostMapping("/insertData")
        public void insertData() {
        
            ObtainSparkSession();
            spark.sql("insert into test values (1, 'a', 11)").collectAsList();
            CloseSparkSession();
        }
    
    	// 获取已创建hive数据仓库中的数据
        @GetMapping("/getData")
        public void getData() {
        
            ObtainSparkSession();
            spark.sql("select * from test").collectAsList();
            CloseSparkSession();
        }

向/createTable，/insertData，/getData接口发送请求，预期结果查询出已插入数据，但实际结果  
![在这里插入图片描述][13dc78307a0148bf9d35475da2e5518d.png]  
通过Shell命令行查询  
![在这里插入图片描述][e41c5d50af0f4a12adfd4204225f6962.png]  
无数据

##### hive shell所创建的数据仓库 #####

创建  
![在这里插入图片描述][d2f9262792ea48d2b8f0772ca51c739d.png]  
插入数据  
![在这里插入图片描述][db51128fa5784d209e7cc207e761269f.png]  
查询  
![在这里插入图片描述][7ad4a338b55e469bb39525563e07529e.png]

### 解决方案 ###

更改创建hive数据仓库sql语句，无需指定存储地址  
即将

@PostMapping("/createTable")
        public void createTable() {
        
            ObtainSparkSession();
            spark.sql("create table test(id int, name string, age int) row format delimited fields terminated by '\\t' stored as textfile location '/usr/data/test'").collectAsList();
            CloseSparkSession();
        }

改为

@PostMapping("/createTable")
        public void createTable() {
        
            ObtainSparkSession();
            spark.sql("create table test(id int, name string, age int) row format delimited fields terminated by '\\t' stored as textfile").collectAsList();
            CloseSparkSession();
        }

### 原因 ###

笔者多次尝试，对于原因尚不清楚，若有大佬知道原因，求告知

原创不易  
转载请标明出处  
如果对你有所帮助 别忘啦点赞支持哈  
![在这里插入图片描述][9cb4cb80a18345158f8a69e2f196e5b9.png]

[13dc78307a0148bf9d35475da2e5518d.png]: https://img-blog.csdnimg.cn/13dc78307a0148bf9d35475da2e5518d.png
[e41c5d50af0f4a12adfd4204225f6962.png]: https://img-blog.csdnimg.cn/e41c5d50af0f4a12adfd4204225f6962.png
[d2f9262792ea48d2b8f0772ca51c739d.png]: https://img-blog.csdnimg.cn/d2f9262792ea48d2b8f0772ca51c739d.png
[db51128fa5784d209e7cc207e761269f.png]: https://img-blog.csdnimg.cn/db51128fa5784d209e7cc207e761269f.png
[7ad4a338b55e469bb39525563e07529e.png]: https://img-blog.csdnimg.cn/7ad4a338b55e469bb39525563e07529e.png
[9cb4cb80a18345158f8a69e2f196e5b9.png]: https://img-blog.csdnimg.cn/9cb4cb80a18345158f8a69e2f196e5b9.png