hive 配置参数说明

快来打我* 2021-12-19 05:19 571阅读 0赞

**hive.exec.mode.local.auto**

决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行）

默认值：true

**hive.exec.mode.local.auto.inputbytes.max**

如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。

默认值：134217728L

**hive.exec.mode.local.auto.tasks.max**

如果 hive.exec.mode.local.auto 为 true，当 Hive Tasks（Hadoop Jobs）小于此阈值时，可以自动在本地模式运行。

默认值：4

**hive.auto.convert.join**

是否根据输入小表的大小，自动将 Reduce 端的 Common Join 转化为 Map Join，从而加快大表关联小表的 Join 速度。

默认值：false

**hive.mapred.local.mem**

Mapper/Reducer 在本地模式的最大内存量，以字节为单位，0为不限制。

默认值：0

**mapred.reduce.tasks **

所提交 Job 的 reduer 的个数，使用 Hadoop Client 的配置。

默认值：1

**hive.exec.scratchdir**

HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。

默认值：/tmp/<user.name>/hive

**hive.metastore.warehouse.dir**

Hive 默认的数据文件存储路径，通常为 HDFS 可写的路径。

默认值："

**hive.groupby.skewindata**

决定 group by 操作是否支持倾斜的数据。

默认值：false

**hive.merge.mapfiles**

是否开启合并 Map 端小文件，对于 Hadoop 0.20 以前的版本，起一首新的 Map/Reduce Job，对于 0.20 以后的版本，则是起使用 CombineInputFormat 的 MapOnly Job。

默认值：true

**hive.merge.mapredfiles **

是否开启合并 Map/Reduce 小文件，对于 Hadoop 0.20 以前的版本，起一首新的 Map/Reduce Job，对于 0.20 以后的版本，则是起使用 CombineInputFormat 的 MapOnly Job。

默认值：false

**hive.default.fileformat**

Hive 默认的输出文件格式，与创建表时所指定的相同，

可选项为 'TextFile' 、 'SequenceFile' 或者 'RCFile'。     'TextFile'

**hive.mapred.mode**

Map/Redure 模式，如果设置为 strict，将不允许笛卡尔积。

默认值： 'nonstrict'

**hive.exec.parallel **

是否开启 map/reduce job的并发提交。

默认值：  false

**hive.security.authorization.enabled**

Hive 是否开启权限认证。

默认值：false

**hive.exec.plan **

Hive 执行计划的路径，会在程序中自动进行设置

默认值：null

**hive.exec.submitviachild**

决定 map/reduce Job 是否应该使用各自独立的 JVM 进行提交（Child进程），默认情况下，使用与 HQL compiler 相同的 JVM 进行提交。

默认值：false

**hive.exec.script.maxerrsize**

通过 TRANSFROM/MAP/REDUCE 所执行的用户脚本所允许的最大的序列化错误数。

默认值：100000

**hive.exec.script.allow.partial.consumption**

是否允许脚本只处理部分数据，如果设置为 true ，因 broken pipe 等造成的数据未处理完成将视为正常。

默认值：false

**hive.exec.compress.output**

决定查询中最后一个 map/reduce job 的输出是否为压缩格式。

默认值：false

**hive.exec.compress.intermediate    **

决定查询的中间 map/reduce job （中间 stage）的输出是否为压缩格式。

默认值：false

**hive.intermediate.compression.codec**

中间 map/reduce job 的压缩编解码器的类名（一个压缩编解码器可能包含多种压缩类型），该值可能在程序中被自动设置。

**hive.intermediate.compression.type**

中间 map/reduce job 的压缩类型，如 "BLOCK" "RECORD"。

**hive.exec.reducers.bytes.per.reducer**

每一个 reducer 的平均负载字节数。

默认值：1000000000

**hive.exec.reducers.max**

reducer 个数的上限。

默认值：999

**hive.exec.pre.hooks**

语句层面，整条 HQL 语句在执行前的 hook 类名。

默认值："

**hive.exec.post.hooks**

语句层面，整条 HQL 语句在执行完成后的 hook 类名。

**hive.exec.parallel.thread.number**

并发提交时的并发线程的个数。

默认值：8

**hive.mapred.reduce.tasks.speculative.execution**

是否开启 reducer 的推测执行，与 mapred.reduce.tasks.speculative.execution 作用相同。

默认值：false

**hive.exec.counters.pull.interval**

客户端拉取 progress counters 的时间，以毫秒为单位。

默认值：1000L

**hive.exec.dynamic.partition**

是否打开动态分区。

默认值：false

**hive.exec.dynamic.partition.mode**

打开动态分区后，动态分区的模式，有 strict 和 nonstrict 两个值可选，strict 要求至少包含一个静态分区列，nonstrict 则无此要求。

默认值：strict

**hive.exec.max.dynamic.partitions**

所允许的最大的动态分区的个数。

默认值：1000

**hive.exec.max.dynamic.partitions.pernode**

单个 reduce 结点所允许的最大的动态分区的个数。

默认值：100

**hive.exec.default.partition.name **

默认的动态分区的名称，当动态分区列为''或者null时，使用此名称。''     '\_\_HIVE\_DEFAULT\_PARTITION\_\_'

**hadoop.bin.path**

Hadoop Client 可执行脚本的路径，该路径用于通过单独的 JVM 提交 job，使用 Hadoop Client 的配置。

默认值：$HADOOP\_HOME/bin/hadoop

**hadoop.config.dir**

Hadoop Client 配置文件的路径，使用 Hadoop Client 的配置。

默认值：$HADOOP\_HOME/conf

**fs.default.name**

Namenode 的 URL，使用 Hadoop Client 的配置。

默认值：file:///

**map.input.file**

Map 的输入文件，使用 Hadoop Client 的配置。

默认值：null

**mapred.input.dir**

Map 的输入目录，使用 Hadoop Client 的配置。

默认值： null

**mapred.input.dir.recursive**

输入目录是否可递归嵌套，使用 Hadoop Client 的配置。

默认值：false

**mapred.job.tracker**

Job Tracker 的 URL，使用 Hadoop Client 的配置，如果这个配置设置为 'local'，将使用本地模式。

默认值：local

**mapred.job.name    **

Map/Reduce 的 job 名称，如果没有设置，则使用生成的 job name，使用 Hadoop Client 的配置。

默认值：null

**mapred.reduce.tasks.speculative.execution**

Map/Reduce 推测执行，使用 Hadoop Client 的配置。

默认值：null

**hive.metastore.metadb.dir**

Hive 元数据库所在路径。

默认值："

**hive.metastore.uris**

Hive 元数据的 URI，多个 thrift://地址，以英文逗号分隔。

默认值："

**hive.metastore.connect.retries**

连接到 Thrift 元数据服务的最大重试次数。

默认值：3

**javax.jdo.option.ConnectionPassword**

JDO 的连接密码。

默认值："

**hive.metastore.ds.connection.url.hook**

JDO 连接 URL Hook 的类名，该 Hook 用于获得 JDO 元数据库的连接字符串，为实现了 JDOConnectionURLHook 接口的类。

默认值："

**javax.jdo.option.ConnectionURL**

元数据库的连接 URL。

默认值："

**hive.metastore.ds.retry.attempts**

当没有 JDO 数据连接错误后，尝试连接后台数据存储的最大次数。

默认值：1

**hive.metastore.ds.retry.interval**

每次尝试连接后台数据存储的时间间隔，以毫秒为单位。

默认值：1000

**hive.metastore.force.reload.conf**

是否强制重新加载元数据配置，一但重新加载，该值就会被重置为 false。

默认值：false

**hive.metastore.server.min.threads**

Thrift 服务线程池的最小线程数。

默认值：8

**hive.metastore.server.max.threads**

Thrift 服务线程池的最大线程数。

默认值：0x7fffffff

**hive.metastore.server.tcp.keepalive**

Thrift 服务是否保持 TCP 连接。

默认值：true

**hive.metastore.archive.intermediate.original**

用于归档压缩的原始中间目录的后缀，这些目录是什么并不重要，只要能够避免冲突即可。

默认值：'\_INTERMEDIATE\_ORIGINAL'

**hive.metastore.archive.intermediate.archived**

用于归档压缩的压缩后的中间目录的后缀，这些目录是什么并不重要，只要能够避免冲突即可。

默认值：'\_INTERMEDIATE\_ARCHIVED'

**hive.metastore.archive.intermediate.extracted**

用于归档压缩的解压后的中间目录的后缀，这些目录是什么并不重要，只要能够避免冲突即可。

默认值：'\_INTERMEDIATE\_EXTRACTED'

**hive.cli.errors.ignore**

是否忽略错误，对于包含多的 SQL 文件，可以忽略错误的行，继续执行下一行。

默认值：false

**hive.session.id**

当前会话的标识符，格式为“用户名\_时间”用于记录在 job conf 中，一般不予以手动设置。

默认值："

**hive.session.silent**

当前会话是否在 silent 模式运行。 如果不是 silent 模式，所以 info 级打在日志中的消息，都将以标准错误流的形式输出到控制台。

默认值：false

**hive.query.string**

当前正在被执行的查询字符串。

默认值："

**hive.query.id**

当前正在被执行的查询的ID。

默认值： "

**hive.query.planid**

当前正在被执行的 map/reduce plan 的 ID。

默认值： "

**hive.jobname.length**

当前 job name 的最大长度，hive 会根据此长度省略 job name 的中间部分。

默认值：50

**hive.jar.path**

通过单独的 JVM 提交 job 时，hive\_cli.jar 所在的路径

默认值："

**hive.aux.jars.path**

各种由用户自定义 UDF 和 SerDe 构成的插件 jar 包所在的路径。

默认值："

**hive.added.files.path**

ADD FILE 所增加的文件的路径。

默认值："

**hive.added.jars.path**

ADD JAR 所增加的文件的路径。

默认值： "

**hive.added.archives.path**

ADD ARCHIEVE 所增加的文件的路径。

默认值："

**hive.table.name**

当前的 Hive 表的名称，该配置将通过 ScirptOperator 传入到用户脚本中。

默认值："

**hive.partition.name**

当前的 Hive 分区的名称，该配置将通过 ScriptOperator 传入到用户脚本中。

默认值："

**hive.script.auto.progress**

脚本是否周期性地向 Job Tracker 发送心跳，以避免脚本执行的时间过长，使 Job Tracker 认为脚本已经挂掉了。

默认值：false

**hive.script.operator.id.env.var**

用于识别 ScriptOperator ID 的环境变量的名称。

默认值：'HIVE\_SCRIPT\_OPERATOR\_ID'

**hive.alias**

当前的 Hive 别名，该配置将通过 ScriptOpertaor 传入到用户脚本中。

默认值："

**hive.map.aggr**

决定是否可以在 Map 端进行聚合操作

默认值：true

**hive.join.emit.interval**

Hive Join 操作的发射时间间隔，以毫秒为单位。

默认值：1000

**hive.join.cache.size**

Hive Join 操作的缓存大小，以字节为单位。

默认值：25000

**hive.mapjoin.bucket.cache.size**

Hive Map Join 桶的缓存大小，以字节为单位。

默认值：100

**hive.mapjoin.size.key**

Hive Map Join 每一行键的大小，以字节为单位。

默认值：10000

**hive.mapjoin.cache.numrows**

Hive Map Join 所缓存的行数。

默认值：25000

**hive.groupby.mapaggr.checkinterval**

对于 Group By 操作的 Map 聚合的检测时间，以毫秒为单位。

默认值：100000

**hive.map.aggr.hash.percentmemory**

Hive Map 端聚合的哈稀存储所占用虚拟机的内存比例。

默认值：0.5

**hive.map.aggr.hash.min.reduction**

Hive Map 端聚合的哈稀存储的最小 reduce 比例。

默认值：0.5

**hive.udtf.auto.progress    **

Hive UDTF 是否周期性地报告心跳，当 UDTF 执行时间较长且不输出行时有用。

默认值：false

**hive.fileformat.check**

Hive 是否检查输出的文件格式。

默认值：true

**hive.querylog.location    **

Hive 实时查询日志所在的目录，如果该值为空，将不创建实时的查询日志。

默认值：'/tmp/$USER'

**hive.script.serde**

Hive 用户脚本的 SerDe。

默认值：'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

**hive.script.recordreader**

Hive 用户脚本的 RecordRedaer。

默认值：'org.apache.hadoop.hive.ql.exec.TextRecordReader'

**hive.script.recordwriter**

Hive 用户脚本的 RecordWriter。

默认值：'org.apache.hadoop.hive.ql.exec.TextRecordWriter'

**hive.hwi.listen.host**

HWI 所绑定的 HOST 或者 IP。

默认值：'0.0.0.0'

**hive.hwi.listen.port**

HWI 所监听的 HTTP 端口。

默认值：9999

**hive.hwi.war.file**

HWI 的 war 文件所在的路径。

默认值：$HWI\_WAR\_FILE

**hive.test.mode**

是否以测试模式运行 Hive

默认值：false

**hive.test.mode.prefix**

Hive 测试模式的前缀。

默认值：'test\_'

**hive.test.mode.samplefreq**

Hive 测试模式取样的频率，即每秒钟取样的次数。

默认值：32

**hive.test.mode.nosamplelist**

Hive 测试模式取样的排除列表，以逗号分隔。

默认值："

**hive.merge.size.per.task**

每个任务合并后文件的大小，根据此大小确定 reducer 的个数，默认 256 M。

默认值：256000000

**hive.merge.smallfiles.avgsize**

需要合并的小文件群的平均大小，默认 16 M。

默认值：16000000

**hive.optimize.skewjoin**

是否优化数据倾斜的 Join，对于倾斜的 Join 会开启新的 Map/Reduce Job 处理。

默认值：false

**hive.skewjoin.key**     倾斜键数目阈值，超过此值则判定为一个倾斜的 Join 查询。

默认值： 1000000

**hive.skewjoin.mapjoin.map.tasks**

处理数据倾斜的 Map Join 的 Map 数上限。

默认值： 10000

**hive.skewjoin.mapjoin.min.split**

处理数据倾斜的 Map Join 的最小数据切分大小，以字节为单位，默认为32M。

默认值：33554432

**mapred.min.split.size**

Map Reduce Job 的最小输入切分大小，与 Hadoop Client 使用相同的配置。

默认值：1

**hive.mergejob.maponly**

是否启用 Map Only 的合并 Job。

默认值：true

**hive.heartbeat.interval**

Hive Job 的心跳间隔，以毫秒为单位。

默认值：1000

**hive.mapjoin.maxsize**

Map Join 所处理的最大的行数。超过此行数，Map Join进程会异常退出。

默认值：1000000

**hive.hashtable.initialCapacity**

Hive 的 Map Join 会将小表 dump 到一个内存的 HashTable 中，该 HashTable 的初始大小由此参数指定。

默认值：100000

**hive.hashtable.loadfactor**

Hive 的 Map Join 会将小表 dump 到一个内存的 HashTable 中，该 HashTable 的负载因子由此参数指定。

默认值：0.75

**hive.mapjoin.followby.gby.localtask.max.memory.usage**

MapJoinOperator后面跟随GroupByOperator时，内存的最大使用比例

默认值：0.55

**hive.mapjoin.localtask.max.memory.usage**

Map Join 的本地任务使用堆内存的最大比例

默认值：0.9

**hive.mapjoin.localtask.timeout**

Map Join 本地任务超时，淘宝版特有特性

默认值：600000

**hive.mapjoin.check.memory.rows**

设置每多少行检测一次内存的大小，如果超过 hive.mapjoin.localtask.max.memory.usage 则会异常退出，Map Join 失败。

默认值：100000

**hive.debug.localtask**

是否调试本地任务，目前该参数没有生效

默认值：false

**hive.task.progress**

是否开启 counters ，以记录 Job 执行的进度，同时客户端也会拉取进度 counters。

默认值：false

**hive.input.format**

Hive 的输入 InputFormat。

默认是org.apache.hadoop.hive.ql.io.HiveInputFormat，

其他还有org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

**hive.enforce.bucketing**

是否启用强制 bucketing。

默认值：false

**hive.enforce.sorting**

是否启用强制排序。

默认值：false

**hive.mapred.partitioner**

Hive 的 Partitioner 类。

默认值：'org.apache.hadoop.hive.ql.io.DefaultHivePartitioner'

**hive.exec.script.trust**

Hive Script Operator For trust

默认值：false

**hive.hadoop.supports.splittable.combineinputformat**

是否支持可切分的 CombieInputFormat

默认值：false

**hive.optimize.cp**

是否优化列剪枝。

默认值：true

**hive.optimize.ppd**

是否优化谓词下推。

默认值：true

**hive.optimize.groupby**

是否优化 group by。

默认值：true

**hive.optimize.bucketmapjoin**

是否优化 bucket map join。

默认值：false

**hive.optimize.bucketmapjoin.sortedmerge**

是否在优化 bucket map join 时尝试使用强制 sorted merge bucket map join。    默认值：false

**hive.optimize.reducededuplication**

是否优化 reduce 冗余。

默认值：true

**hive.hbase.wal.enabled**

是否开启 HBase Storage Handler。

默认值：true

**hive.archive.enabled**

是否启用 har 文件。

默认值：false

**hive.archive.har.parentdir.settable**

是否启用 har 文件的父目录可设置。

默认值：false

**hive.outerjoin.supports.filters**

是否启动外联接支持过滤条件。

默认值：true

**hive.fetch.output.serde**

对于 Fetch Task 的 SerDe 类

默认值：'org.apache.hadoop.hive.serde2.DelimitedJSONSerDe'

**hive.semantic.analyzer.hook**

Hive 语义分析的 Hook，在语义分析阶段的前后被调用，用于分析和修改AST及生成的执行计划，以逗号分隔。

默认值：null

**hive.cli.print.header**

是否显示查询结果的列名，默认为不显示。

默认值：false

**hive.cli.encoding**

Hive 默认的命令行字符编码。

默认值：'UTF8'

**hive.log.plan.progress**

是否记录执行计划的进度。

默认值：true

**hive.pull.progress.counters**

是否从 Job Tracker 上拉取 counters，淘宝特有配置项。

默认值：true

**hive.job.pre.hooks**

每个 Job 提交前执行的 Hooks 列表，以逗号分隔，淘宝特有配置项。

默认值："

**hive.job.post.hooks**

每个 Job 完成后执行的 Hooks 列表，以逗号分隔，淘宝特有配置项。

默认值："

**hive.max.progress.counters**

Hive 最大的进度 couters 个数，淘宝特有配置项。

默认值：100

**hive.exec.script.wrapper**

Script Operator 脚本调用的封装，通常为脚本解释程序。例如，可以把该变量值的名称设置为"python"，那么传递到 Script Operator 的脚本将会以"python <script command>"的命令形式进行调用，如果这个值为null或者没有设置，那么该脚本将会直接以"<script command>"的命令形式调用。

默认值：null

**hive.check.fatal.errors.interval**

客户端通过拉取 counters 检查严重错误的周期，以毫秒为单位，淘宝特有配置项。

默认值：5000L