【JAVA日志】关于日志系统的架构讨论

妖狐艹你老母 2024-04-25 20:21 58阅读 0赞

**目录**

1.日志系统概述

2.环境搭建

3.应用如何推日志到MQ

4.logstash如何去MQ中取日志

5.如何兼顾分布式链路追踪

--------------------

## 1.日志系统概述 ##

关于日志系统，其要支撑的核心能力无非是日志的存储以及查看，最好的查看方式当然是实现可视化。目前市面上有成熟的解决方案——ELK，即elastic search+logstash+kibana。前文中我们已经聊过了ELK这条线，本文主要就是基于ELK并在其中加一个MQ作为中间层来流量削峰、异步写日志。

![fc1bdaa4600244f591c5eb1af58447b6.png][]

这里首先要声明的是，虽然本文在日志系统中使用到了MQ，但MQ真的是必要的嘛？

这个要看系统的体量了。除非是超大型的分布式架构，服务上百个并且并发量较高，才会考虑用MQ来做一层缓存从而来降低IO压力。如果不是上述情况的话是没有必要上MQ来做一个中间层的。日志作为系统中掺入的"沙子"，其量本来就不会很大，一次API调用平均能产生一条日志吗？其实是不见的是吧。所以就这点数据量上MQ这种吞吐量的中间层简直就是杀鸡用牛刀，过度设计，徒增了系统的复杂度了。MQ更多的时候是拿来做移步任务或者定时任务的，用来做业务上的流量削峰或者异步的去做些事情。比如异步的下订单、订单超时取消等。绝大多数时候我们的日志系统的架构，直接让存储去直面日志IO都是能轻轻松松顶得住的。所谓的让存储去直面日志的IO是什么意思？就是比如我走了ELK这条线，那么就直接讲日志往es里面丢就对了。ELK这么用前面已经有文章介绍过了。本文还是聊一聊假设真的到了很极限的中间需要引入MQ的情况。

ELK的搭建这里就不赘述了，前面有文章详细聊过：

[https://bugman.blog.csdn.net/article/details/135964825?spm=1001.2014.3001.5502][https_bugman.blog.csdn.net_article_details_135964825_spm_1001.2014.3001.5502]

[https://bugman.blog.csdn.net/article/details/136017853?spm=1001.2014.3001.5502][https_bugman.blog.csdn.net_article_details_136017853_spm_1001.2014.3001.5502]

[https://bugman.blog.csdn.net/article/details/136066171?spm=1001.2014.3001.5502][https_bugman.blog.csdn.net_article_details_136066171_spm_1001.2014.3001.5502]

这里我们只需要关注几个点：

*  应用的日志如何推到mq中
 *  logstash如何去取mq中存放的日志

## 2.环境搭建 ##

ELK相关内容：

MQ我们选择rabbitMQ，作为一个开箱即食的MQ，rabbitMQ的下载安装网上文章车载斗量，此处就不赘述了。

## 3.应用如何推日志到MQ ##

写日志肯定是JAVA的日志框架来负责的，前面有文章已经详细的介绍了JAVA的日志框架：

[【JAVA日志框架】JUL，JDK原生日志框架详解。\_jul jdk-CSDN博客][JAVA_JUL_JDK_jul jdk-CSDN]

JAVA的日志框架总的来说架构都是大同小异的，都是由不同的appender（有的里面叫handler其实都是一个东西）来向不同的地方写日志：

![7306da3adadc424ea541bd09a1bafcfa.png][]

既然要往rabbitMQ里面写日志，那当然就要一个rabbitMQ的appender了。这个appender在哪里？在rabbitMQ的JAVA API依赖中：

> <dependency>  
> <groupId>org.springframework.boot</groupId>  
> <artifactId>spring-boot-starter-amqp</artifactId>  
> </dependency>  
> <dependency>  
> <groupId>org.springframework.amqp</groupId>  
> <artifactId>spring-rabbit</artifactId>  
> </dependency>

然后配置一下日志框架的配置文件即可，这里我们以spring boot默认的日志框架logback为例，在其配置文件中配置好rabbitMQ的appender即可：

> <configuration>
> 
>   
> <appender name="RABBIT" class="com.github.logback.amqp.AmqpAppender">  
> <host>localhost</host>   
> <port>5672</port>   
> <username>guest</username>   
> <password>guest</password>   
> <exchange>logs</exchange>   
> <routingKey>logstash</routingKey>   
> <declareExchange>true</declareExchange>   
> <exchangeType>fanout</exchangeType>   
> <durable>true</durable>   
> <applicationId>myApplication</applicationId>   
>   
>   
>   
>   
> </appender>
> 
>   
> <layout class="ch.qos.logback.classic.PatternLayout">  
> <Pattern>%d\{yyyy-MM-dd HH:mm:ss.SSS\} \[%thread\] %-5level %logger\{36\} - %msg%n</Pattern>  
> </layout>
> 
>   
> <root level="INFO">  
> <appender-ref ref="RABBIT"/>  
> </root>  
> </configuration>

## 4.logstash如何去MQ中取日志 ##

logstash的input可以理解为插件，既然是插件当然就有很多中类型，其中就包括rabbitMQ的（自然也有其它的），下面是logstash从MQ中取数据然后推给es的一份示例：

> input \{  
> rabbitmq \{  
> host => "localhost" \# RabbitMQ 主机地址  
> port => 5672 \# RabbitMQ 端口  
> user => "guest" \# RabbitMQ 用户名  
> password => "guest" \# RabbitMQ 密码  
> queue => "logQueue" \# RabbitMQ 队列名  
> durable => true \# 是否持久化队列  
> ack => true \# 是否需要手动确认消息  
> threads => 1 \# 线程数  
> \}  
> \}
> 
> output \{  
> stdout \{ codec => rubydebug \} \# 输出到控制台，可选  
>   
> elasticsearch \{  
> hosts => \["localhost:9200"\] \# Elasticsearch 主机地址  
> index => "logstash-%\{+YYYY.MM.dd\}" \# Elasticsearch 索引名  
> \}  
> \}  
>

## 5.如何兼顾分布式链路追踪 ##

这里顺带讨论一个问题，就是在ELK体系中如何去实现分布式链路跟踪。分布式链路跟踪相关内容前面有文章详细讨论过：

[https://bugman.blog.csdn.net/article/details/135258207?spm=1001.2014.3001.5502][https_bugman.blog.csdn.net_article_details_135258207_spm_1001.2014.3001.5502]

其实在ELK中实现分布式链路追踪的方式很简单，思路如下：

仍然在应用侧上链路追踪技术来统一日志格式，然后要进行查询追踪的时候直接使用Kibana的搜索和过滤功能来仅显示与特定跟踪ID或请求ID相关的日志消息，或者利用Kibana的图表功能，将日志数据与分布式追踪数据结合起来，创建可视化的图表和仪表板。你可以根据需要显示请求的整个路径、每个步骤的响应时间、错误率等指标。

[fc1bdaa4600244f591c5eb1af58447b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/ea53787da9634f42bfa3c4e08d1d65a6.png
[https_bugman.blog.csdn.net_article_details_135964825_spm_1001.2014.3001.5502]: https://bugman.blog.csdn.net/article/details/135964825?spm=1001.2014.3001.5502
[https_bugman.blog.csdn.net_article_details_136017853_spm_1001.2014.3001.5502]: https://bugman.blog.csdn.net/article/details/136017853?spm=1001.2014.3001.5502
[https_bugman.blog.csdn.net_article_details_136066171_spm_1001.2014.3001.5502]: https://bugman.blog.csdn.net/article/details/136066171?spm=1001.2014.3001.5502
[JAVA_JUL_JDK_jul jdk-CSDN]: https://blog.csdn.net/Joker_ZJN/article/details/135039876?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170913021416800184143926%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=170913021416800184143926&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-3-135039876-null-null.nonecase&utm_term=%E6%97%A5%E5%BF%97&spm=1018.2226.3001.4450
[7306da3adadc424ea541bd09a1bafcfa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/9de54a554b364d41a3d808743435b710.png
[https_bugman.blog.csdn.net_article_details_135258207_spm_1001.2014.3001.5502]: https://bugman.blog.csdn.net/article/details/135258207?spm=1001.2014.3001.5502