大数据--sqoop/hive搭建

系统管理员 2022-09-30 10:55 218阅读 0赞

安装sqoop、hive之前需要先安装hadoop、hbase环境，参考上面两篇文章

sqoop：数据迁移工具，可以很方便的将数据在 mysql等数据库 与hadoop、hbase、hive之间迁移。

hive：数据分析挖掘工具，原理是将sql转换成hadoop的map reduce，只要你会sql，就会hive。

sqoop和hive官方还没有提供集群安装，一般也不需要，所以都采用单节点安装，比较简单。

sqoop：

解压即可

tar -zxvf sqoop.gz

我用的mysql，将mysql驱动jar放到sqoop的lib目录即可。

启动：

cd bin;

./sqoop

使用：

第一类：数据库中的数据导入到HDFS上  
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade\_detail --columns 'id, account, income, expenses'  
     
   指定输出路径、指定数据分隔符  
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade\_detail --target-dir '/sqoop/td' --fields-terminated-by '\\t'  
     
   指定Map数量 -m   
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade\_detail --target-dir '/sqoop/td1' --fields-terminated-by '\\t' -m 2  
     
   增加where条件, 注意：条件必须用引号引起来  
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade\_detail --where 'id>3' --target-dir '/sqoop/td2'   
     
   增加query语句(使用 \\ 将语句换行)  
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 \\  
   --query 'SELECT \* FROM trade\_detail where id > 2 AND $CONDITIONS' --split-by trade\_detail.id --target-dir '/sqoop/td3'  
  
   注意：如果使用--query这个命令的时候，需要注意的是where后面的参数，AND $CONDITIONS这个参数必须加上  
   而且存在单引号与双引号的区别，如果--query后面使用的是双引号，那么需要在$CONDITIONS前加上\\即\\$CONDITIONS  
   如果设置map数量为1个时即-m 1，不用加上--split-by $\{tablename.column\}，否则需要加上  
  
第二类：将HDFS上的数据导出到数据库中(不要忘记指定分隔符)  
   sqoop export --connect jdbc:mysql://192.168.8.120:3306/test --username root --password 123 --export-dir '/td3' --table td\_bak -m 1 --fields-terminated-by ','

hive：

解压，tar -zxvf hive.gz

hive默认使用derby数据库，只支持单连接，我们改为mysql数据库

cd conf;

cp hive-default.xml.template hive-site.xml   
修改hive-site.xml（删除所有内容，只留一个<property></property>）  
添加如下内容：  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://ip:3306/hive?createDatabaseIfNotExist=true</value>  
  <description>JDBC connect string for a JDBC metastore</description>  
</property>  
  
  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
  <description>Driver class name for a JDBC metastore</description>  
</property>  
  
  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
  <description>username to use against metastore database</description>  
</property>  
  
  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123</value>  
  <description>password to use against metastore database</description>  
</property>

同样，将驱动包放到hive/lib下

启动：   ./hive/bin/hive

使用：

创建表  
create table trade\_detail (id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\\t';  
create table user\_info (id bigint, account string, name  string, age int) row format delimited fields terminated by '\\t';

将mysq当中的数据直接导入到hive当中  
sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table trade\_detail --hive-import --hive-overwrite --hive-table trade\_detail --fields-terminated-by '\\t'  
sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table user\_info --hive-import --hive-overwrite --hive-table user\_info --fields-terminated-by '\\t'  
  
创建一个result表保存前一个sql执行的结果  
create table result row format delimited fields terminated by '\\t' as select t2.account, t2.name, t1.income, t1.expenses, t1.surplus from user\_info t2 join (select account, sum(income) as income, sum(expenses) as expenses, sum(income-expenses) as surplus from trade\_detail group by account) t1 on (t1.account = t2.account);  
  
create table user (id int, name string) row format delimited fields terminated by '\\t'  
将本地文件系统上的数据导入到HIVE当中  
load data local inpath '/root/user.txt' into table user;  
  
创建外部表  
create external table stubak (id int, name string) row format delimited fields terminated by '\\t' location '/stubak';  
  
创建分区表  
普通表和分区表区别：有大量数据增加的需要建分区表  
create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\\t';   
  
分区表加载数据  
load data local inpath './book.txt' overwrite into table book partition (pubdate='2010-08-22');