HIve修改字段或者增加字段后，Spark访问不生效问题

谁践踏了优雅 2023-02-13 11:07 251阅读 0赞

## 问题重现（例） ##

当我将数据存储格式改变，或者增加一列的时候，我习惯使用了alter table add …来实现

原来的表：  
![在这里插入图片描述][20200528144231222.png]

ALTER TABLE test ADD COLUMNS (weight STRING) CASCADE

加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore），我用spark向表插入一个带有weight字段的表，此时抛出异常

Exception in thread "main" org.apache.spark.sql.AnalysisException:
     The column number of the existing table default.test(struct<age:string,tall:string,name:string>) 
     doesn't match the data schema(struct<age:string,name:string,tall:string,weight:string>);

告诉我字段不匹配，于是我去找了元数据发现元数据中的确没有weight这一字段，难道是cascade失效了？不太可能  
差元数据的步骤：

use hivemetastore;
    select * from TBLS;//找到此表的TBL_ID
    //找到后在TABLE_PARAMS找这张表的schema
    select * from TABLE_PARAMS where TBL_ID = '691'

发现的确没有改变

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]

于是去网上寻求答案  
在[Spark社区21841][Spark_21841]中发现了原因

## 原因及解决 ##

原因就在于我们的存储格式为parquet

parquet格式时，spark会直接从上面的元数据库中寻找schema信息，但是此种格式下，hive中通过alter的方式并不能修改元数据库中的信息，所以更新就失败了，spark访问也无效

解决：  
粗劣的解决办法就是update元数据库中的这一条信息，但是比较费时，  
也可以将parquet格式改掉，用hive的格式也可以同步，我们因为采用parquet存储信息  
所以不能轻易改变，目前只能update元数据库来实现，苦逼，**如果有更好的方法，请随时评论给我**  
![在这里插入图片描述][20200528150104918.png]

[20200528144231222.png]: https://img-blog.csdnimg.cn/20200528144231222.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528150027901.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[Spark_21841]: https://issues.apache.org/jira/browse/SPARK-21841
[20200528150104918.png]: https://img-blog.csdnimg.cn/20200528150104918.png