【FAQ】Impala常见异常incompatible Parquet schema for column

ゝ一世哀愁。 2022-10-10 13:56 301阅读 0赞

## 需求来源 ##

impala查询

## 问题描述 ##

Impala查询表报如下异常

nested exception is java.sql.SQLException: File 'hdfs://nameservice/loongshawn/d/table/p_date=2018-01/part-xxxxxxxxxxxx' has an incompatible Parquet schema for column 'v.table.fileed'. Column type: DOUBLE, Parquet schema: optional byte_array f

> nested exception is java.sql.SQLException: File ‘hdfs://nameservice/loongshawn/d/table/p\_date=2018-01/part-xxxxxxxxxxxx’ has an incompatible Parquet schema for column ‘v.table.fileed’. Column type: DOUBLE, Parquet schema: optional byte\_array f

## 解决方式 ##

*  方式一、操作规范：分区表涉及新增字段，一律在末尾添加，不会错。
 *  方式二、set PARQUET\_FALLBACK\_SCHEMA\_RESOLUTION=name1。使用 Impala 查询时设置参数PARQUET\_FALLBACK\_SCHEMA\_RESOLUTION=name 来要求 Impala 使用列的名称来解析 Parquet 中对应的列。该配置从 CDH 5.8 / Impala 2.6 版本开始加入。

## 扩展知识 ##

### 报错原因 ###

impala对表列及属性类型与parquet文件列及属性类型顺序敏感，不一致即会报错。

### 举例说明 ###

table A 在中间添加字段G，如果新增字段类型不会影响历史类型顺序，则查询正常。

*  spark sql 空字段值填空。
 *  impala 空字段值填空，但顺序会错位。见图二。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 1]  
    table A 在中间添加字段G，如果新增字段类型影响历史类型顺序，则查询结果如下:
 *  spark sql 空字段值填空。
 *  impala 查询报错。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 2]

--------------------

1.  [Impala 的 Parquet Schema Incompatible 问题][Impala _ Parquet Schema Incompatible] ↩︎

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70]: /images/20221005/3de655389a0c457481890cd69e2ef847.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 1]: /images/20221005/38e36f4906aa497091e3b3e51f7a618b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 2]: /images/20221005/4b8ef3b8221d49c195cde640d168ad14.png
[Impala _ Parquet Schema Incompatible]: https://ken-ljq.github.io/2019/Impala%E7%9A%84Parquet-Schema-Incompatible%E9%97%AE%E9%A2%98/