Grafana Loki 快速尝鲜

我就是我 2024-02-05 16:02 72阅读 0赞

![在这里插入图片描述][45e8325d9470408fa50f60d1465b1e8e.png_pic_center]  
Grafana Loki 是一个支持水平扩展、高可用的聚合日志系统，跟其他的聚合日志系统不同，Loki只对日志的元数据-标签进行索引，日志数据会被压缩并存储在对象存储中，甚至可以存储在本地文件系统中，能够有效降低成本；多租户，Loki允许多个租户共享一个Loki实例，租户数据完全隔离；通过插件支持第三方agent；通过LogQL查询日志，类似与PromQL；告警，能跟Prometheus、Grafana的告警系统无缝集成；可以与Mimir、Tempo无缝集成，实现日志长期存储和链路跟踪。

如下图所示是基于Loki部署的典型聚合日志系统架构  
![在这里插入图片描述][fa61b9951d7b4050aca46900778a6698.png]  
有3部分组成：

*  Agent客户端，比如Promtail、Grafana Agent，系统通过agent抓取日志，添加标签后将日志转换为流，并通过HTTP API 将流推送到Loki
 *  Loki，主服务器，负责接收和存储日志以及查询，支持不同模式的部署
 *  Grafana，用于查询和显示日志数据，也可以使用LogCLI或者Loki API 查询日志

## Loki 安装 ##

Loki支持Helm、Docker、Tanka、Local、Istio、通过源码6种安装方式，本地测试最方便快捷就是使用Docker方式了，这里介绍下Docker的方式。

首先创建一个用于存放Loki配置文件的目录，进入该目录执行以下命令：

**Mac/Linux**

wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yaml -O loki-config.yaml
    docker run --name loki -d -v $(pwd):/mnt/config -p 3100:3100 grafana/loki:2.9.1 -config.file=/mnt/config/loki-config.yaml
    wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/clients/cmd/promtail/promtail-docker-config.yaml -O promtail-config.yaml
    docker run --name promtail -d -v $(pwd):/mnt/config -v /var/log:/var/log --link loki grafana/promtail:2.9.1 -config.file=/mnt/config/promtail-config.yaml

> 1、macOS 14 不支持 wget 命令，你可以直接通过地址下载文件，并`改名`  
> 2、命令里面`/var/log`是本地的一个系统日志，这里要换成自己服务的日志路径

**Windows**

cd "<local-path>"
    wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yaml -O loki-config.yaml
    docker run --name loki -v <local-path>:/mnt/config -p 3100:3100 grafana/loki:2.9.1 --config.file=/mnt/config/loki-config.yaml
    wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/clients/cmd/promtail/promtail-docker-config.yaml -O promtail-config.yaml
    docker run -v <local-path>:/mnt/config -v /var/log:/var/log --link loki grafana/promtail:2.9.1 --config.file=/mnt/config/promtail-config.yaml

安装完成后，访问http://localhost:3100/metrics 能看到Loki指标情况。

## 配置日志读取 ##

我们想要简单快速的看效果，那么就使用静态配置日志路径的方式，打开`promtail-config.yaml`，修改如下配置

scrape_configs:
    - job_name: local
      static_configs:
      - targets:
          - localhost
        labels:
          job: 服务名
          __path__: /data/logs/日志路径/*log

## 配置Grafana ##

在Grafana中添加Loki数据源，如图填好Loki地址，测试通过后保存  
![在这里插入图片描述][47c751cd4288405491769ae04227a31d.png]  
![在这里插入图片描述][f9fc531e8e25428c94f338d0bc763a93.png]  
通过Explore 查询日志：  
![在这里插入图片描述][b21d91766f1949358eb54251982d1bce.png]  
通过Label filters，可以选择要查询的日志，通过文件名，还是通过任务名称。支持按时间范围查询和实时方式查看日志。

## 一些问题 ##

在尝鲜过程中，也碰到了一些问题，自己新建的一个Eureka Demo始终不能在Grafana上查询到日志，没有对应的Job和filename；使用实时日志观察日志的时候，容易断掉，不显示日志；这两问题不知道什么原因，不过也不影响使用。

--------------------

> 作者其他要推荐的文章，欢迎来学习：  
> Prometheus 系列文章
> 
> 1.  [Prometheus 的介绍和安装][Prometheus]
> 2.  [直观感受PromQL及其数据类型][PromQL]
> 3.  [PromQL之选择器和运算符][PromQL 1]
> 4.  [PromQL之函数][PromQL 2]
> 5.  [Prometheus 告警机制介绍及命令解读][Prometheus 1]
> 6.  [Prometheus 告警模块配置深度解析][Prometheus 2]
> 7.  [Prometheus 配置身份认证][Prometheus 3]
> 8.  [Prometheus 动态拉取监控服务][Prometheus 4]
> 9.  [Prometheus 监控云Mysql和自建Mysql][Prometheus _Mysql_Mysql]
> 
> --------------------
> 
> Grafana 系列文章，版本：OOS v9.3.1
> 
> 1.  [Grafana 的介绍和安装][Grafana]
> 2.  [Grafana监控大屏配置参数介绍（一）][Grafana 1]
> 3.  [Grafana监控大屏配置参数介绍（二）][Grafana 2]
> 4.  [Grafana监控大屏可视化图表][Grafana 3]
> 5.  [Grafana 查询数据和转换数据][Grafana 4]
> 6.  [Grafana 告警模块介绍][Grafana 5]
> 7.  [Grafana 告警接入飞书通知][Grafana 6]
> 
> --------------------

[45e8325d9470408fa50f60d1465b1e8e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/2cbb9a1d5f5a4f30ba38d26d50cad2cc.png
[fa61b9951d7b4050aca46900778a6698.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/7c010e96f1614d3b86621d97edcf033d.png
[47c751cd4288405491769ae04227a31d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/7de213f8449445cb81ca14fd651b7821.png
[f9fc531e8e25428c94f338d0bc763a93.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/ce47e6d4b1734419be096013b86f967d.png
[b21d91766f1949358eb54251982d1bce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/56ef803674f54520b134c718fe6134c5.png
[Prometheus]: https://itsaysay.blog.csdn.net/article/details/128993876
[PromQL]: https://itsaysay.blog.csdn.net/article/details/128697766
[PromQL 1]: https://itsaysay.blog.csdn.net/article/details/128725788
[PromQL 2]: https://itsaysay.blog.csdn.net/article/details/128734102
[Prometheus 1]: https://itsaysay.blog.csdn.net/article/details/129035181
[Prometheus 2]: https://itsaysay.blog.csdn.net/article/details/129115894
[Prometheus 3]: https://itsaysay.blog.csdn.net/article/details/128741317
[Prometheus 4]: https://itsaysay.blog.csdn.net/article/details/128748383
[Prometheus _Mysql_Mysql]: https://itsaysay.blog.csdn.net/article/details/129248268
[Grafana]: https://itsaysay.blog.csdn.net/article/details/128260639
[Grafana 1]: https://itsaysay.blog.csdn.net/article/details/128280232
[Grafana 2]: https://blog.csdn.net/weixin_40972073/article/details/128292597
[Grafana 3]: https://itsaysay.blog.csdn.net/article/details/128309734
[Grafana 4]: https://itsaysay.blog.csdn.net/article/details/128379173
[Grafana 5]: https://itsaysay.blog.csdn.net/article/details/128586826
[Grafana 6]: https://itsaysay.blog.csdn.net/article/details/128665497