logstash配置多入多出并互相隔离

妖狐艹你老母 2022-05-08 06:10 288阅读 0赞

需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；

主要需要解决如下两个问题：

**1、如何加载多个配置文件？**

普通启动方式：nohup bin/logstash -f config/logstash.conf &

多配置文件启动方式：nohup bin/logstash -f config/java-conf &

注意：java-conf为目录，将加载该目录下所有配置文件；不要使用config/java-conf/\*.conf

问题：配置不当，各输入输出会存在交叉，解决办法参考以下第二点。

**2、如何隔离各输入输出？**

利用type，对输入输出进行筛选，配置参考：

log1.conf  
input \{  
  file \{  
    type => "log1"   
    path => "/\*\*/log1.log"   
    discover\_interval => 10 \# 监听间隔   
    start\_position => "beginning" \#从头开始  
  \}  
\}

\#输出到elasticsearch   
output \{  
  if \[type\] == "log1"\{  
    elasticsearch \{  
    index => "log1-%\{+YYYY.MM.dd\}"   
    hosts => "192.168.2.32:9200"   \#输出到elasticsearch 对应服务器  
    \}  
  \}  
\}

log2.conf  
input \{  
  file \{  
    type => "log2"   
    path => "/\*\*/log2.log"   
    discover\_interval => 10 \# 监听间隔   
    start\_position => "beginning" \#从头开始  
  \}  
\}

\#输出到elasticsearch   
output \{  
  if \[type\] == "log2"\{  
    elasticsearch \{  
    index => "log2-%\{+YYYY.MM.dd\}"   
    hosts => "192.168.2.32:9200"   \#输出到elasticsearch 对应服务器  
    \}  
  \}  
\}

PS：index名不能包含大写字母。

发表评论取消回复

表情：

评论列表（有 0 条评论，288人围观）

还没有评论，来说两句吧...

相关阅读

相关 Oracle多租户配置不当：安全隔离问题实例

在Oracle多租户（Multitenant）环境中，如果安全隔离设置不当，可能会导致数据泄露、权限滥用等问题。以下是一个实例： 1. **未正确划分容器**：在一个多租户数

水深无声/ 2024年12月20日 02:51/ 0 赞/ 15 阅读

相关 logstash将配置写在多个文件

搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统logstash将配置写在多个文件我们用Logsatsh写配置文件的时候，如果读取的文

左手的ㄟ右手/ 2023年06月29日 02:25/ 0 赞/ 4 阅读

相关 springboot配置多数据源并配置事务

目录 1.springboot配置多数据源 2.配置多数据源的事务 -------------------- 1.springboot配置多数据源 1、配置文件读取的

悠悠/ 2023年02月11日 13:27/ 0 赞/ 15 阅读

相关如何配置多个线程池来隔离任务？

什么是线程池的隔离，为什么要隔离可能有的小伙伴还不太了解什么是线程池的隔离，为什么要隔离？。所以，我们先来看看下面的场景案例： package com.mooc

快来打我*/ 2022年08月28日 13:53/ 0 赞/ 182 阅读

相关 logstash配置文件多输入和多输出

reset报文 2017-08-08T10:49:11+08:00 INFO Error publishing events (retrying): write tcp

逃离我推掉我的手/ 2022年06月10日 03:10/ 0 赞/ 1178 阅读

相关 logstash 多input与

http://blog.csdn.net/mexican\_jacky/article/details/52808575 \[java\] [view plain][] [c

不念不忘少年蓝@/ 2022年06月04日 10:24/ 0 赞/ 170 阅读

相关多台服务器springboot应用注册eureka互相调用配置

基于springcloud的2个sprigboot项目分别部署在2台服务器上，然后用restTemplate在这2个sprigboot项目互相调用，结果调用不通

待我称王封你为后i/ 2022年05月23日 21:07/ 0 赞/ 140 阅读

相关 logstash配置多入多出并互相隔离

需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；主要需要解决如下两个问题： 1、如何加载多个配置文件？普通启动方式：n

妖狐艹你老母/ 2022年05月08日 06:10/ 0 赞/ 289 阅读

相关 filebeat 负载均衡到多个logstash配置

logstash配置文件 input { beats { port => 5044 clie

浅浅的花香味﹌/ 2022年02月18日 15:19/ 0 赞/ 1288 阅读

相关 ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引

0x00 filebeat配置多个topic filebeat.prospectors: - input_type: log

淡淡的烟草味﹌/ 2021年12月09日 15:43/ 0 赞/ 553 阅读