TSDB写入与查询讲解,聚合(aggregator)与采样(downsample)讲解—以opentsdb为例

系统管理员 2023-06-11 05:28 175阅读 0赞

## 1.时序数据库与时序数据概论 ##

**      时序数据库**是非关系型数据库的一种，其全称为时间序列数据库(Time Series Database)。时序数据库主要用于存取具有时间特征的数据。

**时序数据**是随时间产生的数据，其有着产生频率快、依赖时间、数据量庞大的特点。由于时序数据的数据量非常庞大，传统的关系型数据库在底层数据结构(可参见[笔者文章][Link 1])上导致了其无法对该类数据进行有效的存储和管理。数据数据库通过时序数据的特性，对时序数据采用特殊的存储方式，这使时序大数据得到了有效的管理。

例如，基于HBase的opentsdb，其采用“数据便是索引”的存储方式(关于HBase数据结构，可参加笔者[相关文章][Link 2])，使得主键索引的利用更加高效，在大量、高并发的查询时，极大地降低了系统的I/O。

## 2.数据写入与查询(http接口形式) ##

**以opentsdb为例：**

**1）数据写入：**

官方文档地址：[http://opentsdb.net/docs/build/html/api\_http/put.html][http_opentsdb.net_docs_build_html_api_http_put.html]

数据写入数据结构：

[
        {
            "metric":"city.temperature",
            "value":"24.7",
            "timestamp":1572331517,
            "tags":
                {
                    "city":"beijing"
                }
        }
    ]

以上示例便为各大TSDB常见的数据结构。metric为指标，value为该指标在该时刻的值，timestamp为时间戳，tags便为该指标的标记。

![2019102916115778.png][]

如上图所示，我们这条数据上报成功了。

**2）数据查询**

官方文档地址：[http://opentsdb.net/docs/build/html/api\_http/query/index.html][http_opentsdb.net_docs_build_html_api_http_query_index.html]

数据查询常用数据结构：

{
        "start": 1572331507,
        "end": 1572331527,
        "queries": [
            {
                "aggregator": "",
                "metric": "city.temperature",
                "downsample": "",
                "rate": true,
                "filters": [
                    {
                        "type": "literal_or",
                        "tagk": "city",
                        "filter": "beijing",
                        "groupBy": false
                    }
                ]
            }
        ]
    }

字段说明：start查询开始时间，end查询结束时间，queries为查询的基本操作，aggregator为聚合方式(如avg、max、min、last、sum等)，metric为查询的指标，downsample为采样方式(如1min-avg-null、1h-max-zero等，形式为采样时间-采样方式-补值策略)，rate为是否求速率(根据需要决定)，filters为根据tag进行过滤查询，type常用的为literal\_or(查询的tag值之间为或的关系)和wildcard(使用通配符),groupBy为是否分组，将在下面进一步说明。

## 3.关于aggregator与downsample ##

时序数据是以时间线(TS)的形式存储在TSDB中的，现在，我们再上报1个城市的数据，并且对城市北京补充一些温度值：

[
        {
            "metric":"city.temperature",
            "value":"24.7",
            "timestamp":1572331517,
            "tags":
                {
                    "city":"beijing"
                }
        },
        {
            "metric":"city.temperature",
            "value":"23",
            "timestamp":1572331577,
            "tags":
                {
                    "city":"beijing"
                }
        },
        {
            "metric":"city.temperature",
            "value":"21",
            "timestamp":1572331637,
            "tags":
                {
                    "city":"beijing"
                }
        },
        {
            "metric":"city.temperature",
            "value":"27",
            "timestamp":1572331517,
            "tags":
                {
                    "city":"shanghai"
                }
        },
        {
            "metric":"city.temperature",
            "value":"24",
            "timestamp":1572331577,
            "tags":
                {
                    "city":"shanghai"
                }
        },
        {
            "metric":"city.temperature",
            "value":"22",
            "timestamp":1572331637,
            "tags":
                {
                    "city":"shanghai"
                }
        }
    ]

新的全部数据如上所示，其在TSDB中的时间线如下图所示:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70][]

在TSDB中，时间线的组织是以metric和tags进行组织的，例如，如果再上报一条：

[
        {
            "metric":"city.temperature",
            "value":"24.7",
            "timestamp":1572331517,
            "tags":
                {
                    "city":"beijing"，
                    "address":"tiananmen"
                }
        }
    ]

此时便会变为三条时间线，因此，只要metric和tag有任何不一样，便会产生一条时间线。

1）**aggregator**为不同时间线间数据的聚合方式，例如在上面的两条时间线中，我们要求每一时刻的两个城市(所有城市)的温度之和，可以这样请求：

![20191029154314591.png][]

在这个请求中，我们将aggregator设置为sum(当然也可以尝试max、min等)，此时便求出了两个城市在不同时间的温度之和，aggregator的时间线操作如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 1][]

2）**关于downsample**，假如我们一秒一个点，这样会导致数据点繁多，为了解决这个问题，我们可以对1分钟(或5分钟等等)的数据进行采样，比如，我们想对北京这个城市的温度每5分钟进行一个采样，采样方式为去平均值，我们可以这样请求：

![20191029155848211.png][]

在上面的请求中，我们的采样方式为每五分钟进行采样，采样方式为取平均值，没有值时补值为null。downsample的时间线操作如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 2][]

3）**关于groupBy**，group为对不同的tags是否进行分组，如果值为true，则为分组，如上两条时间线，分组查询会返回两条时间线：

![2019102916073557.png][]

返回如下：

[
        {
            "metric": "city.temperature",
            "tags": {
                "city": "shanghai"
            },
            "aggregateTags": [],
            "dps": {
                "1572331500": 24.333333333333332,
                "1572331800": null,
                "1572332100": null
            }
        },
        {
            "metric": "city.temperature",
            "tags": {
                "city": "beijing"
            },
            "aggregateTags": [],
            "dps": {
                "1572331500": 22.900000000000002,
                "1572331800": null,
                "1572332100": null
            }
        }
    ]

如果值为false，则为不分组，如上两条时间线，不分组查询会返回一条时间线：

![20191029160952505.png][]

返回如下：

[
        {
            "metric": "city.temperature",
            "tags": {},
            "aggregateTags": [
                "city"
            ],
            "dps": {
                "1572331500": 23.616666666666667,
                "1572331800": null,
                "1572332100": null
            }
        }
    ]

注：本例中我们同时使用了聚合方式和采样方式。

[Link 1]: https://blog.csdn.net/m0_38075425/article/details/82256315
[Link 2]: https://blog.csdn.net/m0_38075425/article/details/81283931
[http_opentsdb.net_docs_build_html_api_http_put.html]: http://opentsdb.net/docs/build/html/api_http/put.html
[2019102916115778.png]: /images/20230531/ce2fb91857be4a07bbee1498a2294c99.png
[http_opentsdb.net_docs_build_html_api_http_query_index.html]: http://opentsdb.net/docs/build/html/api_http/query/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70]: /images/20230531/1ed061a4d8bd4d6982341fb5b79eb79a.png
[20191029154314591.png]: /images/20230531/8b387f2574c145a39151ef5f40afd9c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 1]: /images/20230531/55fe7a5fdc044ea284f9c244e3115f1f.png
[20191029155848211.png]: /images/20230531/4d7706c8a8da44cd86271ff0b068789e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 2]: /images/20230531/b8f54135cdaa4971856080b3610a867b.png
[2019102916073557.png]: /images/20230531/3979d5cfbe7f4e2d9fd6183b140a6103.png
[20191029160952505.png]: /images/20230531/9efa59afb9f14d44988961cd0a2095f9.png