将数据从数据仓库Hive导入到MySQL

桃扇骨 2022-10-10 09:52 256阅读 0赞

1.启动Hadoop，hive，mysql

2.在mysql中建表（需要导入数据的）

mysql> CREATE TABLE `dbtaobao`.`user_log` (`user_id` varchar(20),`item_id` varchar(20),`cat_id` varchar(20),`merchant_id` varchar(20),`brand_id` varchar(20), `month` varchar(6),`day` varchar(6),`action` varchar(6),`age_range` varchar(6),`gender` varchar(6),`province` varchar(10)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3.选择数据仓库live中的数据：
    建临时表：

create table dbtaobao.inner_user_log(user_id INT,item_id INT,cat_id INT,merchant_id INT,brand_id INT,month STRING,day STRING,action INT,age_range INT,gender INT,province STRING) COMMENT 'Welcome to XMU dblab! Now create inner table inner_user_log ' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

选中要被导出的数据：

INSERT OVERWRITE TABLE dbtaobao.inner_user_log select * from dbtaobao.user_log;

3.使用Sqoop将数据从Hive导入MySQL

![0bdd582469f198fed826c8d81bb91c7b.png][]

字段值解释：
    localhost:3306/dbtaobao   -->(数据库名）MySQL
    table：user_log    -->(将要被你导入数据的mysql数据库表名）
    export-dir：’********‘     -->HDFS上文件的路径（数据仓库hive中需要被导出的数据库表）
    fields-terminated-by ','    -->Hive 中被导出的文件字段的分隔符

[0bdd582469f198fed826c8d81bb91c7b.png]: /images/20221005/31ff15e64f1748a6b1fc7d134f059a3b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，256人围观）

还没有评论，来说两句吧...

相关阅读

相关 Sqoop将MySQL数据导入到HDFS和Hive中

一、将数据从mysql导入 HDFS **sqoop import --connect jdbc:mysql://192.168.76.1:3306/workf...

雨点打透心脏的1/2处/ 2024年04月17日 06:23/ 0 赞/ 77 阅读

相关如何将mysql的数据导入到hive中？

先将mysql的数据导入到文件中，再将文件导入到hdfs中。再将hdfs的数据插入到表中转载于:https://www.cnblogs.com/lidapengwww/p/

冷不防/ 2023年06月05日 12:37/ 0 赞/ 20 阅读

相关数据仓库 Hive 从入门到小牛(一)

目录一、数据仓库的介绍 1.1 数据仓库的基本概念 1.2 数据仓库的主要特征 1.3 数据仓库与数据库区别

逃离我推掉我的手/ 2022年10月20日 01:17/ 0 赞/ 220 阅读

相关将数据从数据仓库Hive导入到MySQL

1.启动Hadoop，hive，mysql 2.在mysql中建表（需要导入数据的） mysql> CREATE TABLE `dbtaobao`.`user_lo

桃扇骨/ 2022年10月10日 09:52/ 0 赞/ 257 阅读

相关使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入

亦凉/ 2022年10月10日 09:51/ 0 赞/ 627 阅读

相关如何将mysql数据导入hive中

1.首先在hive中建表（尽量与mysql字段对应） ![260605fe39f130f8a64af2b7d9780581.png][] 2. 将mysql中的表导出 t

叁歲伎倆/ 2022年10月10日 04:52/ 0 赞/ 238 阅读

相关 sqoop将Mysql数据导入Hive中

本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS \`testsqoop\`; CR

r囧r小猫/ 2022年08月31日 09:49/ 0 赞/ 275 阅读

相关利用Sqoop将数据从MySQL到HDFS、从MySQL到HIVE

什么是Sqoop？ Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数

た入场券/ 2022年02月25日 04:50/ 0 赞/ 291 阅读

相关从Oracle导入数据到Hive中

从Oracle导入数据到Hive中查看oracle中的数据及数据类型 Oracle字段类型

痛定思痛。/ 2021年09月23日 09:16/ 0 赞/ 1154 阅读

相关 sqoop将hive数据导入mysql

1.解压 tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量，编辑/etc/profile文件，添...

朱雀/ 2020年10月24日 16:26/ 0 赞/ 929 阅读