Sqoop-hive的参数介绍

小鱼儿 2021-11-26 11:32 336阅读 0赞

**hive参数介绍**

<table> 
 <tbody> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">参数</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">说明</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-delims-replacement &lt;arg&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">用自定义的字符串替换掉数据中的\n, \r, and \01等字符</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-drop-import-delims</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">在导入数据到hive中时，去掉数据中\n,\r和\01这样的字符</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–map-column-hive &lt;arg&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">生成hive表时，可以更改生成字段的数据类型，格式如：–map-column-hiveTBL_ID=String,LAST_ACCESS_TIME=string</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-partition-key</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">创建分区，后面直接跟分区名即可，创建完毕后，通过describe 表名可以看到分区名，默认为string型</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-partition-value&lt;v&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">该值是在导入数据到hive中时，与–hive-partition-key设定的key对应的value值。</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-home &lt;dir&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">Hive的安装目录，可以通过该参数覆盖掉默认的hive目录</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-import</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">将数据从关系数据库中导入到hive表中</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-overwrite</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">覆盖掉在hive表中已经存在的数据</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–create-hive-table</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">默认是false,如果目标表已经存在了，那么创建任务会失败</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hive-table</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">后面接要创建的hive表</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–table</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">指定关系数据库表名</td> 
 </tr> 
 </tbody> 
</table>

**连接数据库**

<table> 
 <tbody> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">参数</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">说明</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–connect &lt;jdbc-uri&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">Jdcb连接url，示例如：–connect &nbsp;jdbc:mysql://localhost:3306/hive</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–connection-manager &lt;class-name&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">指定要使用的连接管理类</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–driver &lt;class-name&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">数据库驱动类</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–hadoop-home &lt;dir&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">Hadoop根目录</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–help</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">打印帮助信息</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">-P</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">从控制端读取密码</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–password &lt;password&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">Jdbc url中的数据库连接密码</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–username &lt;username&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">Jdbc url中的数据库连接用户名</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–verbose</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">在控制台打印出详细信息</td> 
 </tr> 
 <tr> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">–connection-param-file &lt;filename&gt;</td> 
 <td style="border-right-style:none;border-bottom-style:none;border-left-style:none;border-top-color:rgb(237,237,237);">一个记录着数据库连接参数的文件</td> 
 </tr> 
 </tbody> 
</table>

**文件互传**

用于import场景。

示例如**mysql传输到hdfs**：

sqoop import

\--connect jdbc:mysql://192.168.153.111:3306/test \\

\--username root \\

\--password root \\

\--table test \\

\--columns "name,age" \\

\--target-dir hdfsfile \\

\--delete-target-dir \\

\-m 1

*  –table 是要导入HDFS中的表
 *  –columns 选择要导入的列，这里选择把name与age两列导入的HDFS中。
 *  –where 对数据进行过滤，只有满足条件的才保存到HDFS中。
 *  –target-dri 指定存储在HDFS上的表名
 *  –delete-target-dir 表示如果HDFS表存在，则把他删除。
 *  \-m 说明使用多少个map进行数据迁移，如果表比较大的话，建议使用多个map，默认的map为4个

**mysql传输到hive**

sqoop import \\

\--connect jdbc:mysql://hadoop001:3306/sqoop \\

\--username root \\

\--password 123456 \\

\--table emp\_etl \\

\-m 1 \\

\--hive-import \\

\--create-hive-table  \\

\--hive-table  emp\_mysql

*  –create-hive-table 自动创建表（如果存在会报错）   
    
 *  –hive-table 指定自动创建表的名称