阿里云DataHub安装及使用

刺骨的言语ヽ痛彻心扉 2022-11-14 14:39 854阅读 0赞

# DataHub安装及使用 #

## 一、DataHub简介 ##

DataHub类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。

对于`离线计算`，DataHub除了供了一个`缓冲的队列`作用。

同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以`DataHub`又扮演了一个`数据的分发枢纽`工作。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

1.  DataHub输入组件包括  
    Flume：主流的开源日志采集框架  
    DTS：类似Canal，日志实时监控采集框架  
    Logstash：也是日志采集框架，通常和Elasticsearch、Kibana集合使用  
    Fluentd：Fluentd是一个实时开源的数据收集器  
    OGG：实时监控Oracle中数据变化  
    Java sdk：支持JavaAPI方式访问
2.  DataHub输出组件包括  
    RDS：类似与传统MySQL数据库  
    AnalyticDB：面向分析型的分布式数据库  
    MaxCompute：离线分析框架  
    Elasticsearch：数据分析，倒排索引  
    StreamCompute：实时分析框架  
    TableSotre：类似于Redis，KV形式存储数据  
    OSS：类似于HDFS，存储图片、视频

## 二、创建DataHub项目与Topic ##

阿里云DataHub控制台入口：https://datahub.console.aliyun.com/datahub

1.  创建项目  
    1）进入到DataHub控制台，选择站点并点击“新建项目”  
    ![在这里插入图片描述][20210329211857242.png]

2）点击“新建项目”  
![在这里插入图片描述][20210329211902121.png]

3）输入项目信息，点击“创建”  
![在这里插入图片描述][20210329211906860.png]

1.  创建广告基础表Topic  
    1）点击查看，准备创建主题base\_ad\_log（广告基础表）  
    ![在这里插入图片描述][20210329211913352.png]  
    2）点击创建Topic  
    ![在这里插入图片描述][20210329211921604.png]  
    3）配置Topic详情  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]  
    说明：

<table> 
 <thead> 
  <tr> 
   <th>选择参数</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Topic类型</td> 
   <td>Tuple为结构化数据，Blob是二进制数据。</td> 
  </tr> 
  <tr> 
   <td>Schema</td> 
   <td>Tuple类型的字段名</td> 
  </tr> 
  <tr> 
   <td>Shard数量</td> 
   <td>决定了队列吞吐量，每个Shard支持1MB/s的写入能力</td> 
  </tr> 
  <tr> 
   <td>生命周期</td> 
   <td>数据在队列中的最长存活时间</td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221022/4e9acf156b564ef4932171d303972925.png
[20210329211857242.png]: /images/20221022/6cb8037576e14d39b20481cb73de8216.png
[20210329211902121.png]: /images/20221022/c14094941792408dbbecd1d7822006f3.png
[20210329211906860.png]: /images/20221022/b70a439414f64ef9af370cfd7b67f9ee.png
[20210329211913352.png]: /images/20221022/b9ec8c349ef048afa2410b18963daeda.png
[20210329211921604.png]: /images/20221022/4faa76f350dd423a8bea527fd3d88d01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221022/558e3d4bd033489fb02620ec886f5895.png