InfluxDB介绍

迈不过友情╰ 2022-04-11 10:14 463阅读 0赞

这是一个大数据爆发的时代。面对信息的激流、多元化数据的涌现，我们在获取、存储、传输、理解、分析、应用、维护大数据时，无疑需要一种便捷的信息交流通道，以便快速、有效、准确地理解和驾驭这个过程。本文将通过时序数据库(InfluxDB)+Grafana的实践，来介绍如何将数据便捷地展现出来。

## 一、InfluxDB ##

开源的分布式时序、时间和指标数据库，使用Go语言编写，无需外部依赖。其中，时间序列数据库是数据格式里包含Timestamp字段的数据，比如某一时间用户上网流量、通话详单等。但是，有什么数据不包含Timestamp呢？几乎所有的数据都可以打上一个Timestamp字段。时间序列数据更重要的一个属性是如何去查询它，包括数据的过滤、计算等。

**它有三大特性：**

*  时序性（Time Series）：与时间相关的函数的灵活使用（例如最大、最小、求和等）；
 *  度量（Metrics）：对实时大量数据进行计算；
 *  事件（Event）：支持任意的事件数据，换句话说，任意事件的数据我们都可以做操作。

**个人认为InfluxDB的几个优点：**

*  无特殊依赖，几乎开箱即用（如ElasticSearch需要Java）
 *  自带数据过期功能；
 *  自带权限管理，精细到“表”级别；
 *  原生的HTTP支持，内置HTTP API
 *  强大的类SQL语法，支持min, max, sum, count, mean, median 等一系列函数，方便统计。
 *  自带管理界面(如下图)，免插件配置。

![20181226204300792][]

InfluxDB基本概念

**1、与传统数据库中的名词做比较**

** **

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:bottom;"> InfluxDB中的名词 </td> 
 <td style="vertical-align:bottom;"> 传统数据库中的概念 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> database </td> 
 <td style="vertical-align:bottom;"> 数据库 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> measurement </td> 
 <td style="vertical-align:bottom;"> 数据库中的表 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> points </td> 
 <td style="vertical-align:bottom;"> 表里面的一行数据 </td> 
 </tr> 
 </tbody> 
</table>

**2、InfluxDB中特有的概念**

** **

**1）Point**

** **

Point由时间戳（time）、数据（field）、标签（tags）组成。

Point相当于传统数据库里的一行数据，如下表所示：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:bottom;"> Point属性 </td> 
 <td style="vertical-align:bottom;"> 传统数据库中的概念 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> time </td> 
 <td style="vertical-align:bottom;"> 每个数据记录时间，是数据库中的主索引(会自动生成) </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> fields </td> 
 <td style="vertical-align:bottom;"> 各种记录值（没有索引的属性）也就是记录的值：温度， &nbsp; 湿度 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> tags </td> 
 <td style="vertical-align:bottom;"> 各种有索引的属性：地区，海拔 </td> 
 </tr> 
 </tbody> 
</table>

**2）series**

** **

所有在数据库中的数据，都需要通过图表来展示，而这个series表示这个表里面的数据，可以在图表上画成几条线：通过tags排列组合算出来。

如下所示：

![20181226204300816][]

** **

**3****、InfluxDB相关API**

** **

InfluxDB 支持http api 方式写入数据。使用curl这个工具来模拟HTTP 请求，在实际使用中，可以将请求写入代码中，通过其他编程语言来模拟HTTP请求。

例如：通过HTTP API向Internet\_users这张表添加数据

curl -v –XPOST "http:// localhost:8086/write?db=Internet&u=user&p=password" --data-binary "Internet\_users,users=小区上网用户,mobile=移动端上网用户,users\_num=56,

mobile\_num=21 1493571600000000000"

![20181226204300838][]

说明：

*  db=Interne是指使用Interne数据库；
 *  \--data-binary后面是需插入数据，其中：

1.  Internet\_users：表名（measurement）
2.  tag字段：users和mobile,值分别为：小区上网用和移动端上网用户
3.  field key字段：users\_num和mobile\_num，值分别为56和21
4.  时间戳（timestamp）：1493571600000000000

这样，就向Interne数据库的Internet\_users表中插入了一条数据。

需要注意，DB参数必须指定一个数据库中已经存在的数据库名，数据体的格式遵从InfluxDB规定格式，首先是表名，后面是tags，然后是field，最后是时间戳。tags、field和时间戳三者之间以空格相分隔。

InfluxDB 数据可视化工具

InfluxDB 用于存储基于时间的数据，比如监控数据，因为InfluxDB本身提供了Http API，所以可以使用InfluxDB很方便的搭建了个监控数据存储中心。对于InfluxDB中的数据展示，这里不得不提数据展示利器-Grafana。

## **二、实践案例** ##

**1、数据采集规划**

** **

目前采集数据主要来源于Hadoop的jmx监控，获取相关Cluster、Queue等Metrics信息以及部分Oracle日志信息，通过相关接口写入InfluxDB数据库，根据来源及日志信息从数据库层进行独立管理设计，以便后续维护。

**2****、InfluxDB数据库权限配置**

** **

InfluxDB自带权限控制，权限分别为：

*  ADMIN：所有者
 *  READ :只读 （精确到库与表）
 *  WRITE：只写 （精确到库与表）
 *  ALL (READ 和 WRITE ) ：读和写

鉴于源数据流，目前只会用到三个角色，对于这三个角色分工如下：

*  ADMIN：维护人员
 *  READ：数据展示与后台查询（Grafana上设置的Influnxdb为只读）
 *  WRITE：外部程序（插入数据至Influnxdb）

配置数据库权限需开启相关认证，操作如下：

vi /etc/InfluxDB/InfluxDB.conf

把 \[http\] 标签下的 auth-enabled 选项值改为 true

\[http\]

enabled = true

bind-address = ":8086"

auth-enabled = true

log-enabled = true

write-tracing = false

pprof-enabled = false

https-enabled = false

https-certificate = "/etc/ssl/InfluxDB.pem"

**3****、Influnxdb和Grafana高可用配置**

** **

本次实践为了避免因主机通断而导致Influnxdb和Grafana服务无法使用的情况，所以在部署应用时用了2台虚拟机，2台虚拟机安装的服务如下：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:bottom;"> 主机 </td> 
 <td style="vertical-align:bottom;"> 服务 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> Localhost-01 </td> 
 <td style="vertical-align:bottom;"> InfluxDB+Grafana </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> Localhost-02 </td> 
 <td style="vertical-align:bottom;"> InfluxDB+Grafana </td> 
 </tr> 
 </tbody> 
</table>

在系统层方面又做了如下设置：

*  主机域名设置

将两台主机设置为主备模式，共用同一个域名http://xxx.xxx.com

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:bottom;"> 域名 </td> 
 <td style="vertical-align:bottom;"> 主机 </td> 
 <td style="vertical-align:bottom;"> 主备模式 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> http://xxx.xxx.com </td> 
 <td style="vertical-align:bottom;"> Localhost-01 </td> 
 <td style="vertical-align:bottom;"> 主 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> http://xxx.xxx.com </td> 
 <td style="vertical-align:bottom;"> Localhost-02 </td> 
 <td style="vertical-align:bottom;"> 备 </td> 
 </tr> 
 </tbody> 
</table>

*  负载均衡设置

负载均衡设置即VIP主用与容灾端域名+端口与的Localhost-01～02主备节点域名+端口映射。大家都知道InfluxDB和Grafana端口如下图展示：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:bottom;"> 服务 </td> 
 <td style="vertical-align:bottom;"> 端口 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> InfluxDB </td> 
 <td> 8083 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> InfluxDB </td> 
 <td> 8086 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> InfluxDB </td> 
 <td> 8088 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;"> Grafana </td> 
 <td> 3000 </td> 
 </tr> 
 </tbody> 
</table>

所以映射关系可设计成这样：

*  VIP：主用ip、容灾ip
 *  VPORT：8083
 *  均衡算法：pi 32 rr
 *  健康检查：tcp
 *  实例IP及端口：
    
    Localhost-01的ip 8083
    
    Localhost-02的ip 8083

其它端口均按此设置，负载均衡设置完成后，这里不得不提Grafana配置，如果要做到可视化展示的高可用，那么Grafana配置数据源就必须采用域名+端口的方式：

![20181226204300862][]

至此数据安全设置完毕。

**4****、Grafana界面配置**

** **

完成以上环境配置，根据相关需求进行Grafana界面配置以及监控配置，具体操作可以参照官网操作教程，这里不再赘述。

HDFS目录配额监控：

![20181226204300881][]

HDFS空间使用率监控：

![20181226204300900][]

## 三、数据库备份 ##

**命令格式**  
influxd backup -database \[name\] \[path-to-backup\]  
  
更多的使用方式可以利用命令 influxd help 进行查看进行举一反三。

**示例**  
influxd backup -database metric ./data  
  
由于我这里的 InfluxDB 的版本为 v1.1.1 所以需要指定数据库进行进行备份；可能新版的不需要指定就可以默认备份所有的。

**数据库恢复**  
influxd restore -database metric -metadir /var/lib/influxdb/meta -datadir /var/lib/influxdb/data ./data  
  
注意：恢复数据的时候 InfluxDB 是支持版本兼容的（但可能不是全部，我恢复的版本为 vv1.5.4 ），不同的版本的话具体情况具体分析吧！

**重启生效**  
以上命令执行完毕之后请一定要重新启动方能生效，重启之后我们就能利用相应的工具查看数据库信息了。

转自 [https://www.colabug.com/54346.html][https_www.colabug.com_54346.html]

[20181226204300792]: /images/20220411/785709ab6b8c4d85aae9ac6919b05536.png
[20181226204300816]: /images/20220411/2802072668b743b8a9255128291d2fb0.png
[20181226204300838]: /images/20220411/a9e174ac2846494080724de08a08e180.png
[20181226204300862]: /images/20220411/1f9f4caea2ca48a684c97ecdbaf3a648.png
[20181226204300881]: /images/20220411/c397c4f5a36e42c7bf1d3fe85605c802.png
[20181226204300900]: /images/20220411/74474bec5ad24089bf5cc283d2b156aa.png
[https_www.colabug.com_54346.html]: https://www.colabug.com/54346.html