Logstash(6.3.0)之输出到kafka|第五章-yellowcong

我会带着你远行 2022-05-21 03:35 131阅读 0赞

> 输出日志信息到kafka的服务器，然后进行消费处理。

## 配置输出到kafka ##

这个地方，我的kafka机器是`192.168.112.12:9092`，需要导入到test 这个topic种，这个地方，我输出到了file,kafka,stdout的三个地方了。

input{
            file {
                    path => "/usr/local/log_test/*.log"
                    start_position => "beginning"
            }
    }
    output {
            file {
                    path => "/path/to/%{+yyyy}/%{+MM}/%{+dd-HH}-%{host}.log"
             }
            kafka{
                    bootstrap_servers => "192.168.112.12:9092"
                    codec => json
                    topic_id => "test"
                     compression_type => "snappy"
             }
             stdout {
               codec => rubydebug
             }
    }

### 参数说明 ###

compression\_type 这个是压缩方式，可以设定为”none”, “gzip”, “snappy”, “lz4”

## 启动服务 ##

![这里写图片描述][70]

## 参考文章 ##

[https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html][https_www.elastic.co_guide_en_logstash_current_plugins-outputs-kafka.html]  
[https://www.cnblogs.com/Orgliny/p/5730381.html][https_www.cnblogs.com_Orgliny_p_5730381.html]

[70]: /images/20220521/6c5ea0f272844859b971a4eac9777cbe.png
[https_www.elastic.co_guide_en_logstash_current_plugins-outputs-kafka.html]: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html
[https_www.cnblogs.com_Orgliny_p_5730381.html]: https://www.cnblogs.com/Orgliny/p/5730381.html