EFK日志收集【初步概览】

浅浅的花香味﹌ 2022-04-13 15:07 171阅读 0赞

> 引用自官网 [https://www.elastic.co/cn/products][https_www.elastic.co_cn_products]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70 1]

**在我们框架使用的过程中，简单的、轻量级的机构如下**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70 2]

**当数据量过大时我们则需要使用消息队列**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70 3]

<table> 
 <thead> 
  <tr> 
   <th>消息队列</th> 
   <th>优点</th> 
   <th>缺点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>redis</td> 
   <td>实时性较高，无须复杂服务架构，存储速度较快</td> 
   <td>不可保证数据稳定性，队列容量取决于机器内存</td> 
  </tr> 
  <tr> 
   <td>kafka</td> 
   <td>堆积能力取决于机器硬盘大小，性能稳定可控，可应用于集群</td> 
   <td>消息推送存在延时，服务架构较为复杂</td> 
  </tr> 
 </tbody> 
</table>

**现在我们使用FluentD代替Logstash 收集日志信息**  
![在这里插入图片描述][20181203094451508.png]

[https_www.elastic.co_cn_products]: https://www.elastic.co/cn/products
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20181130111737104.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70 1]: /images/20220413/e7581c03935d43baa714a5180d631865.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70 2]: /images/20220413/4dcdeb86cf5d4b83a6211be41789e6c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0ODE5Mzcy_size_16_color_FFFFFF_t_70 3]: /images/20220413/b0b30509c5de4f53aa77203d86f7f51d.png
[20181203094451508.png]: /images/20220413/87d2668fb9de404e9fc93838f76ded56.png