Flume个人心得笔记之Channel安装

深藏阁楼爱情的钟 2021-12-14 09:07 372阅读 0赞

#                Flume个人心得笔记之Channel安装全解 #

**目录**

Flume个人心得笔记之Channel安装全解

一.Memory Channel

一、概述

二、可配置选项说明

三、示例:

二.File Channel

一、概述

二、可配置选项说明

三、示例

1.复制一份文件

2.编辑配置

4.确保目录产生

5.启动

6.传输数据

7.接收数据

8.查看产生的文件是否传输过来

三.其他Channel

一、JDBC Channel(单连接)

二、内存溢出通道（没正式上线）

--------------------

# 一.Memory Channel  #

## 一、概述 ##

1.  事件将被存储在内存中（指定大小的队列里）
2.  非常适合那些需要高吞吐量且允许数据丢失的场景下

## 二、可配置选项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.1479in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.0277in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.1479in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.0277in;"> memory </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.1479in;"> capacity </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.0277in;"> 100&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;事件存储在信道中的最大数量 建议实际工作调节：10万 首先估算出每个event的大小，然后再服务的内存来调节 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.1479in;"> transactionCapacity </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.0277in;"> 100&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;每个事务中的最大事件数 建议实际工作调节：1000~3000 </td> 
 </tr> 
 </tbody> 
</table>

## 三、示例: ##

**一直使用的都是默认这个，就不演示了，   存放在内存中的**

**[https://blog.csdn.net/LiuY521/article/details/94721238][https_blog.csdn.net_LiuY521_article_details_94721238]**

# 二.File Channel #

## 一、概述 ##

1.  将数据临时存储到计算机的磁盘的文件中
2.  性能比较低，但是即使程序出错数据不会丢失

## 二、可配置选项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.9048in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.9048in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;"> file </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.9048in;"> dataDirs </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;"> 指定存放的目录，逗号分隔的目录列表，用以存放日志文件。使用单独的磁盘上的多个目录可以提高文件通道效率。 </td> 
 </tr> 
 </tbody> 
</table>

## 三、示例 ##

### 1.复制一份文件 ###

**mv basic1.conf filechannel.conf**

### 2.编辑配置 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

### 4.确保目录产生 ###

![201907052014427.png][]

### 5.启动 ###

![20190705201619247.png][]

### 6.传输数据 ###

![20190705201706904.png][]

### 7.接收数据 ###

![20190705201721847.png][]

### 8.查看产生的文件是否传输过来 ###

![20190705201800650.png][]

# 三.其他Channel #

## 一、JDBC Channel(单连接) ##

1.  事件会被持久化（存储）到可靠的数据库里
2.  目前只支持嵌入式Derby数据库。但是Derby数据库不太好用，所以JDBC Channel目前仅用于测试，不能用于生产环境。

## 二、内存溢出通道（没正式上线） ##

1.  优先把Event存到内存中，如果存不下，在溢出到文件中
2.  目前处于测试阶段，还未能用于生产环境

[https_blog.csdn.net_LiuY521_article_details_94721238]: https://blog.csdn.net/LiuY521/article/details/94721238
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20211214/8e856ac4a1dd482a8301fd26af914e16.png
[201907052014427.png]: /images/20211214/1885ae79d0664846bab417b38d809c04.png
[20190705201619247.png]: /images/20211214/62feaa8ac3204782b3c5d5d655aef59b.png
[20190705201706904.png]: /images/20211214/d93d827222f447a7bdbba5429cb30c7d.png
[20190705201721847.png]: /images/20211214/8dcfe502de9b4037ac981309df3b0362.png
[20190705201800650.png]: /images/20211214/112a8418ab5c4929a77e5ac54a531bee.png