Fluent的server和client(第三章)-yellowcong

素颜马尾好姑娘i 2022-05-22 09:07 254阅读 0赞

> 在实际种，通常是多个fluent协同工作的，就如下图所示，每个k8s的宿主机都装有fluent，输出的日志信息都跑到一个fulent种，然后输出到文件或者kafka里面，给大数据进行消费处理。

![这里写图片描述][70]

## 官网地址 ##

https://docs.fluentd.org/

## 安装fluent-plugin-forest 插件 ##

# 客户端需要安装的插件
    #用于路径中加入tag
    /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-forest
    #用于修改tag
    /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-rewrite-tag-filter
    #用于正则匹配日志内容，进行筛选
    /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-grep
    #用于修改record
    /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-record-reformer
     
    # 服务器端需要安装的插件
    /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-forest
    #输出文件到kafka的插件
    /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-kafka

![这里写图片描述][70 1]

## 架构 ##

<table> 
 <thead> 
  <tr> 
   <th>主机ip</th> 
   <th>主机名</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.141.51</td> 
   <td>master-01-k8s</td> 
  </tr> 
  <tr> 
   <td>192.168.141.52</td> 
   <td>master-02-k8s</td> 
  </tr> 
 </tbody> 
</table>

## server 机器 ##

### 1 配置文件 ###

服务端，服务的端口为24224，match 匹配，根据不同的类型的tag，对文件进行不同的处理，`type stdout` 表示直接控制台输出，`type file` 表示存储为文件。

<source>
      type forward
      port 24224
      bind 0.0.0.0
    </source>
     
    <match docker.test*>
      type stdout
    </match>
     
    <match docker.temp*>
      type file
      path /home/lee/fluentd-log
    </match>

### 2 启动service ###

/opt/td-agent/embedded/bin/fluentd -c docker_in03.conf

![这里写图片描述][70 2]

## Client机器 ##

启动客户端机器，

<source>
      type forward
      port 24224
      bind 0.0.0.0
    </source>
     
    <match docker.test*>
        type forward    
        <server>
        host 192.168.141.51
        port 24224
        </server>
        flush_interval 60s
    </match>
     
    <match docker.temp*>
        type forward    
        <server>
        host 192.168.141.51
        port 24224
        </server>
        flush_interval 60s
    </match>

![这里写图片描述][70 3]

### 启动客户端服务 ###

./fluentd -c /etc/td-agent/docker_in04.conf

![这里写图片描述][70 4]

### 启动容器服务 ###

这个地方，通过–log-opt tag=“docker.\{ \{.Name\}\}” ，来指定容器的tag，然后来根据这个tag来进行匹配(match),默认会根据容器的CONTAINER ID 来进行匹配。

#启动test01
    docker run --name test01 --log-driver=fluentd --log-opt tag="docker.{ {.Name}}"  --log-opt fluentd-async-connect=true -d -p 8001:8000 imekaku/simple-web python /work/simple.py
    
    #启动temp01
    docker run --name temp01  --log-driver=fluentd --log-opt tag="docker.{ {.Name}}"  --log-opt fluentd-async-connect=true -d -p 8002:8000 imekaku/simple-web python /work/simple.py

提示：log tag支持如下，官网说明：

\{ \{.ID\}\}，\{ \{.FullID\}\}，\{ \{.Name\}\}，\{ \{.ImageID\}\}，\{ \{.ImageFullID\}\}，\{ \{.ImageName\}\}，\{ \{.DaemonName\}\}

## 访问测试 ##

#多次curl访问，就会看到服务端有消息
    curl 127.0.0.1:8081
    curl 127.0.0.1:8082

这个是test01这个的输出  
![这里写图片描述][70 5]

然后temp的还有日志信息，我们只指定了输出的前部分，后面就自动命名了一个配置文件。  
![这里写图片描述][70 6]

## 常见问题 ##

### 1 config error file=“in\_docker\_file.conf” error=“Unknown output plugin ‘forest’. Run ‘gem search -rd fluent-plugin’ to find plugins” ###

导致这个问题的原因是没有安装fluent-plugin-forest 插件  
![这里写图片描述][70 7]

## 参考文章 ##

[https://blog.csdn.net/jaysuper/article/details/8021878][https_blog.csdn.net_jaysuper_article_details_8021878]  
[http://www.imekaku.com/2016/09/14/fluentd-configure-client-server/][http_www.imekaku.com_2016_09_14_fluentd-configure-client-server]

[70]: /images/20220522/4897fe6eb0af42858cd6016999bf94e2.png
[70 1]: /images/20220522/a628da856b88416b861d85ae9e22bd45.png
[70 2]: /images/20220522/ea4b00b6dfe04ca58fdd754989610d99.png
[70 3]: /images/20220522/0aefbcf495304de4b9e814d85d8b061c.png
[70 4]: /images/20220522/6fa0511b3c3c4c6b805462be3ef8c41a.png
[70 5]: /images/20220522/ca3bb0454eae4ac4911308ca92d3a52e.png
[70 6]: /images/20220522/276f7554c42c42e79cdf9394711c44b6.png
[70 7]: /images/20220522/7a56ae041b4a4c6eacc64608a9f78cc5.png
[https_blog.csdn.net_jaysuper_article_details_8021878]: https://blog.csdn.net/jaysuper/article/details/8021878
[http_www.imekaku.com_2016_09_14_fluentd-configure-client-server]: http://www.imekaku.com/2016/09/14/fluentd-configure-client-server/