MongoDB 与 Hive集成

不念不忘少年蓝@ 2022-12-18 01:00 20阅读 0赞

前面已经说过很多数据库之间可以互相集成，今天也和大家说下MongoDB 与 Hive集成，其实MongoDB 与 Hive集成和Hbase 与 Hive集成有很多相似之处，都是到Hive中创建，只不过Hbase 与 Hive集成是Hive中创建的表名、行键、列簇名等都要和Hbase中的一一对应。那么MongoDB 与 Hive集成是不是也一样呢？下面就和大家说下。

1.拷贝 jar 包

版本要按安装的相关软件版本要求的来，jar 包可以去http://mvnrepository.com/下载就可以了，使用 Hive 整合 MongoDB 只需要三个jar 包：

*  mongo-hadoop-core-2.0.2.jar
 *  mongo-hadoop-hive-2.0.2.jar
 *  mongo-java-driver-3.6.0.jar

下载地址：

https://mvnrepository.com/artifact/org.mongodb.mongo-hadoop/mongo-hadoop-core
    'org.mongodb.mongo-hadoop:mongo-hadoop-core:jar:2.0.2'
    
    
    https://mvnrepository.com/artifact/org.mongodb/mongo-java-driver
    'org.mongodb:mongo-java-driver:jar:3.6.0'
    
    https://mvnrepository.com/artifact/org.mongodb.mongo-hadoop/mongo-hadoop-hive
    'org.mongodb.mongo-hadoop:mongo-hadoop-hive:jar:2.0.2'

2.将 jar 包拷到\{HIVE\_HOME\}/lib 下，然后启动 Hive。

3.在 Hive 中创建 MongoDB 关联表：

CREATE TABLE eventlog
    ( 
       id string,
       userid string,
       type string,
       objid string,
       time string,
       source string
    )
    
    STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler' 
    WITH SERDEPROPERTIES
    ('mongo.columns.mapping'='{"id":"_id"}') 
    TBLPROPERTIES
    ('mongo.uri'='mongodb://username:password@ip:port/xxx.xx
    xxxx');

//如果没有设置用户名和密码，可以省略

CREATE TABLE individuals ( 
    id INT, 
    name STRING, 
    age INT, 
    work STRUCT<title:STRING, hours:INT> 
    ) STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler' 
    WITH SERDEPROPERTIES
    ('mongo.columns.mapping'='{"id":"_id","work.title":"job.position"}') 
    TBLPROPERTIES
    ('mongo.uri'='mongodb://localhost:27017/test.persons');

如下图所示：

![在这里插入图片描述][2020102418275015.png_pic_center]

[2020102418275015.png_pic_center]: /images/20221122/93e4ba40842540b5bd8f6f4bca06af0e.png