OpenTSDB原理系列：元数据模型

Myth丶恋晨 2022-01-23 13:57 334阅读 0赞

本文作为介绍OpenTSDB原理系列文章的第一篇，主要介绍了时序数据以及OpenTSDB的一些基础概念，以及OpenTSDB中的元数据模型定义。

> ## 什么是时序数据？ ##

Wiki中关于”**时间序列（Time Series）**“的定义：

> **时间序列**（Time Series）是一组按照时间发生先后顺序进行排列的**数据点序列**，通常一组时间序列的时间间隔为一恒定值（如1秒，5分钟，1小时等）。

**时间序列数据**可被简称为**时序数据**。

**实时监控**系统所收集的监控指标数据，通常就是**时序数据** 。时序数据具有如下特点：

*  每一个**时间序列**通常为某一**固定类型**的**数值**
 *  数据按一定的时间间隔持续产生，每条数据拥有自己的**时间戳**信息
 *  通常只会不断的**写入**新的数据，几乎不会有**更新**、**删除**的场景
 *  在读取上，也往往倾向于**读取最近写入**的数据。

正是因为这些特点，通常使用专门的时序数据库来存储，因为这类数据库更能理解**时序数据((TSDB))**的特点，而且在读写上做一些针对性的优化。相信在在即将大范围普及的**物联网(IoT)**应用场景中，**时序数据库(TSDB)**会得到更加广泛的应用。

### OpenTSDB ###

OpenTSDB是其中一种**时序数据库**实现，因为基于HBase生态构建而获得了广泛的关注。目前，华为云的CloudTable服务已经推出了OpenTSDB特性。

如下是源自OpenTSDB官方资料中的**时序数据样例**：

> sys.cpu.user host=webserver01 1356998400 50
> 
> sys.cpu.user host=webserver01,cpu=0 1356998400 1
> 
> sys.cpu.user host=webserver01,cpu=1 1356998400 0
> 
> sys.cpu.user host=webserver01,cpu=2 1356998400 2
> 
> sys.cpu.user host=webserver01,cpu=3 1356998400 0
> 
> …………
> 
> sys.cpu.user host=webserver01,cpu=63 1356998400 1

对于上面的任意一行数据，在OpenTSDB中称之为一个**时间序列**中的一个**Data Point**。以最后一行为例我们说明一下OpenTSDB中关于Data Point的每一部分组成定义如下：

<table> 
 <thead> 
  <tr> 
   <th>构成信息</th> 
   <th>名称</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>sys.cpu.user</td> 
   <td><strong>metrics</strong></td> 
  </tr> 
  <tr> 
   <td>host</td> 
   <td>tagKey</td> 
  </tr> 
  <tr> 
   <td>webserver01</td> 
   <td>tagValue</td> 
  </tr> 
  <tr> 
   <td>cpu</td> 
   <td>tagKey</td> 
  </tr> 
  <tr> 
   <td>63</td> 
   <td>tagValue</td> 
  </tr> 
  <tr> 
   <td>1356998400</td> 
   <td>timestamp</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>value</td> 
  </tr> 
 </tbody> 
</table>

可以看出来，每一个Data Point，都关联一个**metrics名称，但可能关联多组<tagKey,tagValue>信息**。而关于时间序列，事实上就是具有相同的metrics名称以及相同的<tagKey,tagValue>组信息的Data Points的集合。在存储这些Data Points的时候，大家也很容易可以想到，可以将这些metrics名称以及<tagKey,tagValue>信息进行特殊编码来优化存储，否则会带来极大的数据冗余。**OpenTSDB中为每一个metrics名称，tagKey以及tagValue都定义了一个唯一的数字类型的标识码(UID)**。

### UID设计 ###

UID的全称为Unique Identifier。这些UID信息被保存在OpenTSDB的元数据表中，默认表名为”**tsdb-uid**”。

OpenTSDB分配UID时遵循如下规则：

*  metrics、tagKey和tagValue的UID分别独立分配
 *  **每个metrics名称（tagKey/tagValue）的UID值都是唯一。不存在不同的metrics（tagKey/tagValue）使用相同的UID，也不存在同一个metrics（tagKey/tagValue）使用多个不同的UID**
 *  UID值的范围是0x000000到0xFFFFFF，即metrics（或tagKey、tagValue）最多只能存在16777216个不同的值。

### 元数据HBase表设计 ###

为了从UID索引到metrics（或tagKey、tagValue），同时也要从metrics（或tagKey、tagValue）索引到UID，OpenTSDB同时保存这两种映射关系数据。

在元数据表中，把这两种数据分别保存到两个名为”id”与”name”的Column Family中，Column Family描述信息如下所示：

> \{NAME => ‘id’, BLOOMFILTER => ‘ROW’, COMPRESSION => ‘SNAPPY’\}  
> \{NAME =>’name’,BLOOMFILTER => ‘ROW’, COMPRESSION => ‘SNAPPY’, MIN\_VERSIONS => ‘0’, BLOCKCACHE => ‘true’, BLOCKSIZE => ‘65536’, REPLICATION\_SCOPE => ‘0’\}

### 元数据模型 ###

关于metrics名为”cpu.hum”，tagKey值为”host”，tagValue值分别为”189.120.205.26″、”189.120.205.27″的UID信息定义如下：

![UID\_DEFINITION][UID_DEFINITION]

说明：

1.  **RowKey为”0″的行中，分别保存了metrics、tagKey和tagValue的当前UID的最大值。当为新的metrics、tagKey和tagValue分配了新的UID后，会更新对应的最大值**
2.  **RowKey为”1″的行中，RowKey为UID，Qualifier为”name:metrics”的值对应metrics name，Qualifier为”name:tagk”的值中存放了tagKey，Qualifier为”name:tagv”的值中存放了tagValue**
3.  **RowKey为”2″的行中，RowKey为UID，Qualifier为”name:tagv”的值为tagValue，不存在metrics与tagKey信息。**
4.  **RowKey为”189.120.205.26″的行中，Qualifer为”id:tagv”的值为UID信息。表示当”189.120.205.26″为tagValue时，其UID为1**
5.  **RowKey为”189.120.205.27″的行中，Qualifer为”id:tagv”的值为UID信息。表示当”189.120.205.26″为tagValue时，其UID为2**
6.  **RowKey为”cpu.hum”的行中，Qualifer为”id:metrics”的值为UID信息。表示当cpu.hum为metrics时，其UID为1**
7.  **RowKey为”host”的行中，Qualifer为”id:tagk”的值为UID信息。表示当host为tagValue时，其UID为1**

**由于HBase的存储数据类型是Bytes，所以UID在存储时会被转换为3个字节长度的Bytes数组进行存储。**

## TSUID ##

**对每一个Data Point，metrics、timestamp、tagKey和tagValue都是必要的构成元素**。除timestamp外，metrics、tagKey和tagValue的UID就可组成一个TSUID，每一个TSUID关联一个**时间序列**，如下所示：

> <metrics\_UID><tagKey1\_UID><tagValue1\_UID>\[…<tagKeyN\_UID><tagValueN\_UID>\]

在上一章节的例子中，就涉及两个TSUID，分别是：

![TSUID][]

转：[http://www.nosqlnotes.com/technotes/opentsdb-schema/][http_www.nosqlnotes.com_technotes_opentsdb-schema]

[UID_DEFINITION]: /images/20220123/6a85c9dd193f4a23b8218973d548ddd7.png
[TSUID]: /images/20220123/c2d6151156a04ee0873f028733e94ccb.png
[http_www.nosqlnotes.com_technotes_opentsdb-schema]: http://www.nosqlnotes.com/technotes/opentsdb-schema/

发表评论取消回复

表情：

评论列表（有 0 条评论，334人围观）

还没有评论，来说两句吧...

相关阅读

相关 HBase系列（一）、数据模型

目录简介设计模型逻辑结构物理结构 -------------------- 简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利

冷不防/ 2022年12月05日 10:27/ 0 赞/ 247 阅读

相关一元线性回归模型数据_第二章一元线性回归模型1

一元线性回归模型也称为简单回归模型，它是用来研究两个变量之间的关系。理解并熟练运用简单回归模型，对后面几章多元回归模型的学习是非常有帮助的。 2.1回归分析概述

ゝ一纸荒年。/ 2022年10月24日 15:23/ 0 赞/ 260 阅读

相关数据库原理—数据模型（三）

数据库原理—数据模型（三） ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6

傷城~/ 2022年09月01日 00:59/ 0 赞/ 180 阅读

相关 Django模型类Meta元数据详解

来源：https://my.oschina.net/liuyuantao/blog/751337 简介使用内部的class Meta 定义模型的元数据，例如

小灰灰/ 2022年07月15日 09:18/ 0 赞/ 212 阅读

相关元模型

元模型是关于模型的模型。这是特定领域的模型，定义概念并提供用于创建该领域中的模型的构建元素。例如，可以将 SPEM 视为流程工程元模型。　　四层元模型体系结构

拼搏现实的明天。/ 2022年04月16日 20:27/ 0 赞/ 224 阅读

相关 OpenTSDB原理系列：线程模型

OpenTSDB原理系列：线程模型前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义，这篇文章介绍OpenTSDB的线程模型，主要是处理HTTP请求的线程池

た入场券/ 2022年01月23日 14:41/ 0 赞/ 313 阅读

相关 OpenTSDB原理系列：数据表设计

上一篇文章《[OpenTSDB原理系列：元数据模型][OpenTSDB]》讲到了OpenTSDB的基础概念，以及元数据模型，这篇文章介绍OpenTSDB的HBase数据表设计。

约定不等于承诺〃/ 2022年01月23日 14:06/ 0 赞/ 303 阅读

相关 OpenTSDB原理系列：元数据模型

本文作为介绍OpenTSDB原理系列文章的第一篇，主要介绍了时序数据以及OpenTSDB的一些基础概念，以及OpenTSDB中的元数据模型定义。 > 什么是时序数据？

Myth丶恋晨/ 2022年01月23日 13:57/ 0 赞/ 335 阅读

相关 OpenTSDB原理系列：读取流程

OpenTSDB原理系列：读取流程一个完整的OpenTSDB HTTP Query请求，分别由OpenTSDB I/O Thread和AsyncHBase I/O Th

Love The Way You Lie/ 2022年01月22日 04:47/ 0 赞/ 441 阅读

相关 OpenTSDB Stats - OpenTSDB 统计信息

Stats 统计 OpenTSDB offers a number of metrics about its performance, accessible via

不念不忘少年蓝@/ 2022年01月21日 21:01/ 0 赞/ 358 阅读