时间序列数据库武斗大会之 KairosDB 篇

深碍√TFBOYSˉ_ 2022-05-26 08:43 223阅读 0赞

【编者按】作者刘斌是OneAPM后端研发工程师，拥有10多年编程经验，参与过大型金融、通信以及Android手机操作系的开发，熟悉Linux及后台开发技术。曾参与翻译过《第一本Docker书》、《GitHub入门与实践》、《Web应用安全权威指南》、《WEB+DB PRESS》、《Software Design》等书籍，也是Docker入门与实践课程主讲人。本文所阐述的「时间序列数据库」，系笔者所负责产品 Cloud Insight对性能指标进行聚合、分组、过滤过程中的梳理和总结。

在前面《时序列数据库武斗大会之 TSDB 名录 Part 1》和《时序列数据库武斗大会之TSDB名录 Part 2》两篇文章中，我们介绍了一些常见的 TSDB，而本文会详细介绍KairosDB。

按照官方的说明，KairosDB 是一个 “Fast Time Series Database on Cassandra”，即基于 Cassandra 的高速时序列数据库。

**特点**

1.数据采集

数据可以通过多种协议写入 KairosDB，比如 Telnet 的按行写入，HTTP API，Graphite 以及批处理导入。此外，还可以使用或者自己编写插件。

2.存储

KairosDB 采用了 Cassandra 作为数据存储方式，Cassandra 也是一个比较流行的NoSQL数据库，很多开源软件基于此数据库。

3.Rest API

KairosDB 提供了 REST API，已完成对 metric 名称，tag 等的查询，当然，也少不了存储和查询数据点（data points）。

4.自定义数据类型（Custom Data）

KairosDB 支持存储和聚合自定义数据类型。默认情况下 KairosDB 支持 long、double 和字符串的 value，这比 OpenTSDB 要丰富一些。

5.分组和聚合

作为数据分析系统，分组和聚合则是必不可少的功能。 KairosDB的聚合（也就是down samples）功能，支持的标准函数有 min、max、sum、count、mean、histogram、gaps 等，而且都非常实用。

比如 percentile，可以计算一个指标值大概的百分比位置，非常适合存储类似“你打败了xx%的人”这种需求场景。

6.支持工具

KairosDB 提供了进行数据导入导出的命令行工具。根据官方文档的说明，在一台分配了 2Gig 内存的 SSD Cassandra 上，1 秒钟能导入 13 万条数据。

7.插件机制

KairosDB 也提供多种基于 Guice 的插件机制来进行扩展（data point 监听器，数据存储，协议处理等。）

KairosDB 是从 OpenTSDB fork 过来的，因此最初它是支持 HBase 的，不过现在 HBase 已经不能完全支持 KairosDB 所需的特性，将来会取消对 HBase 的支持。

**入门 KairosDB**

1.安装 KairosDB

这里我们以当前最新的1.1.1版本为例进行说明。首先，需要确保你的JAVA\_HOME已经设置好了，且Java版本高于1.6。

$ echo $JAVA_HOME
    /Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/Home

然后需要到 GitHub 上去下载安装包。我用的是 OS X 系统，因此我选择了[kairosdb-1.1.1-1.tar.gz][] （注意：点击这个链接即可下载）。

解压后可以看看它的配置文件conf/kairosdb.properties，有一些东西适合 OpenTSDB 一样的，比如 4242 端口。

KairosDB 集成了 jetty，你可以通过 jetty 访问 WEB UI，而且还支持添加 SSL 支持，这样安全性上比 OpenTSDB 高了一个层级。

配置文件中还能对 Cassandra 进行设置，比如服务器地址、keyspace 等。不过默认的话 KairosDB 使用 H2 作为数据存储，这样在开发环境下我们就不必配置Cassandra 了。这里我们也以 H2 为例来初步认识一下 KairosDB，这也是 KairosDB 的默认配置。

所以在这个例子里，我们不必修改配置文件，直接启动 KairosDB 即可：

$ bin/kairosdb.sh run
    # 或者
    $ bin/kairosdb.sh start

其中run参数会以前台运行的方式启动 KairosDB，而start则以后台进程的方式启动 KairosDB。

停止 KairosDB 只需要运行bin/kairosdb.sh stop就可以了。

**写入数据**

和 OpenTSDB 一样，KairosDB 也支持基于 telnet 和 HTTP API 的方式写入数据。

1.Telnet

Telnet 的方式数据格式很简单：

put <metric_name> <time-stamp> <value> <tag> <tag>... \n

这里我们就不做演示了。

2.HTTP API

只需要发送JSON数据到\[[http://localhost:8080/api/v1/datapoints][http_localhost_8080_api_v1_datapoints]就可以了。这是我们写入测试数据的方法：

$ curl -v -H "Content-type: application/json" -X POST  http://localhost:8080/api/v1/datapoints -d '
    [{
        "name": "cpu.load.1",
        "timestamp": 1453109876000,
        "type": "double",
        "value": 0.32,
        "tags":{
       "host":"test-1"}
    },
    {
        "name": "cpu.load.1",
        "timestamp": 1453109876000,
        "type": "double",
        "value": 0.21,
        "tags":{
       "host":"test-2"}
    }]
    '  
    * Connected to localhost (::1) port 8080 (#0)
    > POST /api/v1/datapoints HTTP/1.1
    > Host: localhost:8080
    > User-Agent: curl/7.43.0
    > Accept: */*
    > Content-type: application/json
    > Content-Length: 262
    > 
    * upload completely sent off: 262 out of 262 bytes
    < HTTP/1.1 204 No Content  
    < Access-Control-Allow-Origin: *  
    < Pragma: no-cache  
    < Cache-Control: no-cache  
    < Expires: 0  
    < Content-Type: application/json; charset=UTF-8  
    < Server: Jetty(8.1.16.v20140903)  
    <  
    * Connection #0 to host localhost left intact

从服务器返回结果我们可以看到，HTTP 204 状态码，也是 KairosDB 成功写入数据的结果。

**查询数据**

同样 KairosDB 提供了查询用 API：

$ curl -H "Content-type: application/json" -X POST  http://localhost:8080/api/v1/datapoints/query -d '
    {
      "metrics": [
        {
          "tags": {},
          "name": "cpu.load.1",
          "group_by": [
            {
              "name": JSON"tag",
              "tags": [
                "host"
              ]
            }
          ],
          "aggregators": [
            {
              "name": "sum",
              "align_sampling": true,
              "sampling": {
                "value": "1",
                "unit": "minutes"
              }
            }
          ]
        }
      ],
      "cache_time": 0,
      "start_absolute": 1453046400000,
      "end_absolute": 1453132800000,
      "time_zone": "Asia/Chongqing"
    }' | jq .

注意上面命令最后的 jq，这是用来对 JSON 数据进行格式化的工具。最终结果可能像下面一样：

{
      "queries": [
        {
          "sample_size": 2,
          "results": [
            {
              "name": "cpu.load.1",
              "group_by": [
                {
                  "name": "tag",
                  "tags": [
                    "host"
                  ],
                  "group": {
                    "host": "test-1" }
                },
                {
                  "name": "type",
                  "type": "number"
                }
              ],
              "tags": {
                "host": [
                  "test-1"
                ]
              },
              "values": [
                [
                  1453109876000,
                  0.32
                ]
              ]
            },
            {
              "name": "cpu.load.1",
              "group_by": [
                {
                  "name": "tag",
                  "tags": [
                    "host"
                  ],
                  "group": {
                    "host": "test-2" }
                },
                {
                  "name": "type",
                  "type": "number"
                }
              ],
              "tags": {
                "host": [
                  "test-2"
                ]
              },
              "values": [
                [
                  1453109876000,
                  0.21
                ]
              ]
            }
          ]
        }
      ]
    }

**WEB UI**

KairosDB 自带了一个 Web 界面，你可以通过 [http://localhost:8080][http_localhost_8080] 访问。不过这个 UI 主要是以开发为目的的，可以看到查询的 JSON 文本，方便调试，比较直观。默认的 UI 使用了 Flot 来画图，如果你愿意，也可以使用 Highcharts 替换。

**Library**

KairosDB 目前有一个单独的 Java Client，在官网还有一些其他语言的客户端，比如 Python、PHP 等。

由于是 Java 客户端，所以还是很容易上手的。比如写入数据：

MetricBuilder builder = MetricBuilder.getInstance();  
    builder.addMetric("metric1")  
            .addTag("host", "server1")
            .addTag("customer", "Acme")
            .addDataPoint(System.currentTimeMillis(), 10)
            .addDataPoint(System.currentTimeMillis(), 30L);
    HttpClient client = new HttpClient("http://localhost:8080");  
    Response response = client.pushMetrics(builder);  
    client.shutdown();

读取数据：

QueryBuilder builder = QueryBuilder.getInstance();  
    builder.setStart(2, TimeUnit.MONTHS)  
           .setEnd(1, TimeUnit.MONTHS)
           .addMetric("metric1")
           .addAggregator(AggregatorFactory.createAverageAggregator(5, TimeUnit.MINUTES));
    HttpClient client = new HttpClient("http://localhost:8080");  
    QueryResponse response = client.query(builder);  
    client.shutdown();

这应该会非常方便，开发起来比 OpenTSDB 要快不少了。

**其他API**

KairosDB 竟然支持 metric 删除功能，这个功能会有多少人需要呢？

列出 metric 名、tag 列表、列出 tag 值，说不定有人会喜欢，比如在输入框自动提示灯功能，可能需要这些元数据。

1.列出指标名

这里除了cpu.load.1是我们自己写入的 metric，其余的都是 KairosDB 自己的指标数据。

$ curl http://localhost:8080/api/v1/metricnames | jq .
    
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100   501    0   501    0     0  45058      0 --:--:-- --:--:-- --:--:-- 50100  
    {
      "results": [
        "kairosdb.datastore.query_time",
        "kairosdb.protocol.telnet_request_count",
        "kairosdb.http.ingest_count",
        "kairosdb.datastore.query_row_count",
        "cpu.load.1",
        "kairosdb.protocol.http_request_count",
        "kairosdb.http.ingest_time",
        "kairosdb.jvm.thread_count",
        "kairosdb.jvm.total_memory",
        "kairosdb.jvm.max_memory",
        "kairosdb.metric_counters",
        "kairosdb.jvm.free_memory",
        "kairosdb.datastore.query_sample_size",
        "kairosdb.datastore.query_collisions",
        "kairosdb.http.query_time",
        "kairosdb.http.request_time"
      ]
    }

2.列出 tag key

这个 API 能列出系统中所有的 tag key。不过遗憾的是它不支持只列出某一给定指标的所有 tag key。

$ curl http://localhost:8080/api/v1/tagnames | jq .
    
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100    67    0    67    0     0   4188      0 --:--:-- --:--:-- --:--:--  4466  
    {
      "results": [
        "method",
        "metric_name",
        "query_index",
        "request",
        "host"
      ]
    }

3.列出 tag value

这个 API 能列出系统中所有的 tag value。同样遗憾的是它也不支持只列出某一给定指标的所有 tag value。所以这两个 API 几乎可以说是然并无用。

$ curl http://localhost:8080/api/v1/tagvalues | jq .
    
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100   163    0   163    0     0   5011      0 --:--:-- --:--:-- --:--:--  5093  
    {
      "results": [
        "1",
        "lius-MacBook-Pro.local",
        "tagnames",
        "/datapoints/query",
        "test-1",
        "test-2",
        "metricnames",
        "query",
        "tags",
        "version",
        "datapoints",
        "putm",
        "cpu.load.1"
      ]
    }

**总结**

KairosDB 毕竟是 OpenTSDB 的一个 fork，因此根本上的功能都差不多，而且随着 OpenTSDB 对 Cassandra 的支持，感觉 KairosDB 相比 OpenTSDB 也没有什么太大的优势。

[kairosdb-1.1.1-1.tar.gz]: http://liubin.org/blog/2016/03/12/tsdb-kairosdb/
[http_localhost_8080_api_v1_datapoints]: http://localhost:8080/api/v1/datapoints
[http_localhost_8080]: http://localhost:8080