基于阿里云HBase搭建OpenTSDB

淩亂°似流年 2022-01-23 13:35 562阅读 0赞

OpenTSDB是一个基于HBase的分布式、可伸缩的开源时序数据库。OpenTSDB由TSD（**Time Series Daemon**）和一系列命令行工具组成。TSD用于接收用户请求并将时序数据存储在HBase中。TSD之间是相互独立的，没有master，也没有共享状态，因此可以根据系统的负载情况任意进行扩展。下图是一个基于OpenTSDB的监控系统架构图（来自[官方文档][Link 1]）：  
![tsdb | center | 499x319][tsdb _ center _ 499x319]

本文介绍如何在阿里云HBase之上搭建OpenTSDB。

# 准备HBase和ECS实例 #

要在阿里云上部署OpenTSDB，我们需要：

*  一个HBase实例，用来存储数据。HBase的规格可参考[HBase文档][HBase]。
 *  一个ECS实例，用来安装、运行OpenTSDB。可参考[文档][Link 2]。

需要注意的是：  
（1）ECS需要和HBase在相同的region内。如果是专有网络，需要ECS和HBase在同一个vpc下。  
（2）建议选择linux操作系统（例如CentOS）。本文描述的安装步骤均在CentOS上执行成功，请注意其他操作系统可能部分命令会有不同。  
（3）需要把ECS的IP加入到HBase的白名单中。

# 安装OpenTSDB #

## 安装 ##

要运行OpenTSDB，需要安装如下组件：

*  安装HBase客户端
 *  安装GnuPlot
 *  安装OpenTSDB

### 1 安装HBase客户端 ###

HBase客户端的作用主要是执行建表脚本在HBase中创建出OpenTSDB需要的表。HBase客户端的安装、配置过程可以参考[这个文档][Link 3]。

### 2 安装GnuPlot ###

GnuPlot是一个命令行的交互式绘图工具，OpenTSDB使用GnuPlot绘图。GnuPlot可以简单通过yum安装：

yum install -y gnuplot

### 3 安装OpenTSDB ###

可以在[github][]上选择需要的版本，下载安装包安装或是下载源码tar包进行编译。以rpm包为例：

wget https://github.com/OpenTSDB/opentsdb/releases/download/v2.3.0/opentsdb-2.3.0.rpm
    yum localinstall opentsdb-2.3.0.rpm

运行tsdb version看到如下输出

net.opentsdb.tools 2.2.0 built at revision 07d0464 (MINT)
    Built on 2016/02/15 22:56:59 +0000 by hobbes@clhbase:/home/hobbes/opentsdb_OFFICIAL/build

表明已经安装完成了。

## 配置 ##

### 1 在HBase中创建OpenTSDB需要的表 ###

OpenTSDB提供了一个脚本来执行建表的动作。命令如下：

env COMPRESSION=SNAPPY HBASE_HOME=/path/to/hbase /usr/share/opentsdb/tools/create_table.sh

执行之后，会在HBase中创建出tsdb、tsdb-uid、tsdb-tree和tsdb-meta四个表。  
在执行建表的脚本时需要设置这两个环境变量：

*  COMPRESSION表示OpenTSDB的表所使用的压缩方式。脚本中的默认值是lzo，但是阿里云HBase不支持这种压缩方式，我们把这个参数设置为SNAPPY。SNAPPY是阿里云HBase推荐的压缩方式，参见[云HBase文档][HBase 1]。
 *  HBASE\_HOME配置为HBase客户端的安装目录。

### 2 修改OpenTSDB的配置文件 ###

配置文件的路径在/etc/opentsdb/opentsdb.conf。我们需要把其中的**tsd.storage.hbase.zk\_quorum**这个参数修改为HBase的**ZK连接地址**（可在HBase控制台查看）。  
配置完成后，运行如下命令启动OpenTSDB：

tsdb tsd

执行

curl http://localhost:4242/api/config

看到如下输出

{"tsd.core.auto_create_metrics":"false","tsd.core.auto_create_tagks":"true","tsd.core.auto_create_tagvs":"true","tsd.core.meta.enable_realtime_ts":"false","tsd.core.meta.enable_realtime_uid":"false","tsd.core.meta.enable_tsuid_incrementing":"false","tsd.core.meta.enable_tsuid_tracking":"false","tsd.core.plugin_path":"/usr/share/opentsdb/plugins","tsd.core.preload_uid_cache":"false","tsd.core.preload_uid_cache.max_entries":"300000","tsd.core.socket.timeout":"0","tsd.core.storage_exception_handler.enable":"false","tsd.core.tree.enable_processing":"false","tsd.core.uid.random_metrics":"false","tsd.http.cachedir":"/tmp/opentsdb","tsd.http.query.allow_delete":"false","tsd.http.request.cors_domains":"","tsd.http.request.cors_headers":"Authorization, Content-Type, Accept, Origin, User-Agent, DNT, Cache-Control, X-Mx-ReqToken, Keep-Alive, X-Requested-With, If-Modified-Since","tsd.http.request.enable_chunked":"false","tsd.http.request.max_chunk":"4096","tsd.http.show_stack_trace":"true","tsd.http.staticroot":"/usr/share/opentsdb/static/","tsd.mode":"rw","tsd.network.async_io":"true","tsd.network.bind":"0.0.0.0","tsd.network.keep_alive":"true","tsd.network.port":"4242","tsd.network.reuse_address":"true","tsd.network.tcp_no_delay":"true","tsd.network.worker_threads":"","tsd.no_diediedie":"false","tsd.query.allow_simultaneous_duplicates":"true","tsd.query.filter.expansion_limit":"4096","tsd.query.skip_unresolved_tagvs":"false","tsd.query.timeout":"0","tsd.rtpublisher.enable":"false","tsd.rtpublisher.plugin":"","tsd.search.enable":"false","tsd.search.plugin":"","tsd.stats.canonical":"false","tsd.storage.compaction.flush_interval":"10","tsd.storage.compaction.flush_speed":"2","tsd.storage.compaction.max_concurrent_flushes":"10000","tsd.storage.compaction.min_flush_threshold":"100","tsd.storage.enable_appends":"false","tsd.storage.enable_compaction":"true","tsd.storage.fix_duplicates":"false","tsd.storage.flush_interval":"1000","tsd.storage.hbase.data_table":"tsdb","tsd.storage.hbase.meta_table":"tsdb-meta","tsd.storage.hbase.prefetch_meta":"false","tsd.storage.hbase.tree_table":"tsdb-tree","tsd.storage.hbase.uid_table":"tsdb-uid","tsd.storage.hbase.zk_basedir":"/hbase","tsd.storage.hbase.zk_quorum":"hb-wz9sn9wc5li4zbg04-001.hbase.rds.aliyuncs.com:2181,hb-wz9sn9wc5li4zbg04-002.hbase.rds.aliyuncs.com:2181,hb-wz9sn9wc5li4zbg04-003.hbase.rds.aliyuncs.com:2181","tsd.storage.repair_appends":"false"}

这表明，tsdb已经启动起来了。

# 使用OpenTSDB #

OpenTSDB中，一条时序数据包含如下内容：

*  metric名称
 *  UNIX时间戳
 *  metric的值
 *  tags：是一系列的k-v值，用来描述metric数据的属性。在查询数据时可以按照某一个属性做过滤和聚合。

我们以[官方文档][Link 4]上所举的例子来描述OpenTSDB的写入和读取：采集cpu用户态使用率。我们将metric命名为sys.cpu.user，用两个tag来描述其属性：host和cpu表示数据描述的是哪个服务器的哪个cpu。

## 创建metric ##

使用如下命令

tsdb mkmetric sys.cpu.user

## 写入数据 ##

作为测试，我们可以使用telnet接口写入两条数据：

# telnet localhost 4242
    Trying 127.0.0.1...
    Connected to localhost.
    Escape character is '^]'.
    put sys.cpu.user 1356998400 42.5 host=webserver01 cpu=0
    put sys.cpu.user 1356999400 42.7 host=webserver01 cpu=0

## 读取数据 ##

可以使用命令行读取刚才写入的两条数据：

# tsdb query 1356998400 1356999400 sum sys.cpu.user
    sys.cpu.user 1356998400000 42.500000 {host=webserver01, cpu=0}
    sys.cpu.user 1356999400000 42.700001 {host=webserver01, cpu=0}

也可以使用http接口查询：

# curl 'http://localhost:4242/api/query?start=1356998400&m=sum:sys.cpu.user'
    [{"metric":"sys.cpu.user","tags":{"host":"webserver01","cpu":"0"},"aggregateTags":[],"dps":{"1356998400":42.5,"1356999400":42.70000076293945}}]

## 在web页面查询数据 ##

OpenTSDB提供了一个web页面供查询数据。通过以下步骤可以开放这个页面。

### 1 ECS绑定公网IP ###

如果ECS已经有一个公网IP则可以忽略这一步。否则，需要绑定一个弹性公网IP用来从公网访问ECS。具体操作步骤参见[EIP文档][EIP]。

### 2 修改安全组规则 ###

ECS默认的安全组规则没有开放OpenTSDB的端口。我们需要开放这个端口。  
登陆ECS控制台，点击OpenTSDB所在的ECS"管理"进入详情页面。  
![ecs| center | 830x149][ecs_ center _ 830x149]

选择左侧的"本实例安全组"，然后点击"配置规则"。  
![secure\_group | center | 830x170][secure_group _ center _ 830x170]

之后点击"添加安全组规则"，在弹出的页面配置安全组的规则。协议类型选择"自定义TCP"，端口范围输入OpenTSDB的端口。  
![rule | center | 830x915][rule _ center _ 830x915]

这两步完成之后，在浏览器输入 ECS的公网IP:OpenTSDB端口，即可使用web页面查询数据。见下图：  
![web| center | 830x345][web_ center _ 830x345]

# 其他 #

本文仅简单介绍了OpenTSDB在阿里云上的部署和使用。关于OpenTSDB使用的更多细节可以参考[官方文档][Link 5]，也可以在[HBase技术社区的OpenTSDB话题][HBase_OpenTSDB]下进行讨论。关于阿里云HBase的更多细节可以参考[产品文档][Link 6]。

转：[https://yq.aliyun.com/articles/500387?spm=a2c4e.11153940.blogcont54785.19.7fef7f4bdqjlWp][https_yq.aliyun.com_articles_500387_spm_a2c4e.11153940.blogcont54785.19.7fef7f4bdqjlWp]

[Link 1]: http://opentsdb.net/overview.html
[tsdb _ center _ 499x319]: /images/20220123/36d25cc1f695478fa596e553d11c7885.png
[HBase]: https://help.aliyun.com/document_detail/59012.html?spm=a2c4g.11186623.6.558.X6XVUZ
[Link 2]: https://help.aliyun.com/document_detail/52209.html?spm=a2c4g.11186623.6.547.DQzHJT
[Link 3]: https://help.aliyun.com/document_detail/52056.html?spm=a2c4g.11186623.6.549.syeag9
[github]: https://github.com/OpenTSDB/opentsdb/releases
[HBase 1]: https://help.aliyun.com/document_detail/59373.html?spm=a2c4g.11186623.6.571.WlAi8b
[Link 4]: http://opentsdb.net/docs/build/html/user_guide/writing/index.html
[EIP]: https://help.aliyun.com/document_detail/61804.html?spm=a2c4g.11186623.6.548.p34Gv9
[ecs_ center _ 830x149]: /images/20220123/62b15b49479f4b28ba8a80b80020338b.png
[secure_group _ center _ 830x170]: /images/20220123/875f4407a5444e3e9f5caa724dc3ccca.png
[rule _ center _ 830x915]: /images/20220123/19b48a845ee241dea7038286e2d01e29.png
[web_ center _ 830x345]: /images/20220123/7d46ea5f90644119b45feb5ad5c18fa0.png
[Link 5]: http://opentsdb.net/docs/build/html/index.html
[HBase_OpenTSDB]: http://47.97.124.17/hbase/?/explore/category-2
[Link 6]: https://help.aliyun.com/product/49055.html?spm=5176.8772746.103.2.1eef51d69on8bd
[https_yq.aliyun.com_articles_500387_spm_a2c4e.11153940.blogcont54785.19.7fef7f4bdqjlWp]: https://yq.aliyun.com/articles/500387?spm=a2c4e.11153940.blogcont54785.19.7fef7f4bdqjlWp

发表评论取消回复

表情：

评论列表（有 0 条评论，562人围观）

还没有评论，来说两句吧...

相关阅读

相关阿里云搭建nacos

nacos是阿里最近开源的一套分布式微服务框架，其底层在阿里自己的生态体系内的应用基础上添加了对springcloud的支持，使用起来相较于单纯的springcloud更加方便

迷南。/ 2023年10月08日 09:52/ 0 赞/ 52 阅读

相关阿里云第二天——基于ECS快速搭建Docker环境

> 于ECS实例快速搭建一个Docker环境，并在Docker环境中部署一个Nginx服务。 > [体验连接][Link 1] > 作者：陈运智搭建Docker环

忘是亡心i/ 2022年12月10日 07:28/ 0 赞/ 222 阅读

相关阿里云安装搭建gogs

第一次弄，瞎jiba 整，先记录下来。整了个阿里云，为ubuntu系统，外网 ip为XXXXX，然后登录后，开整。 sudo apt-get update

青旅半醒/ 2022年06月16日 10:51/ 0 赞/ 295 阅读

相关 Hbase分布式搭建之Hbase搭建

在安装之前先介绍下Hbase，Hadoop生态系统中HBase所处位置，实现的功能，解决的问题。 HBase – Hadoop Database，是一个高可靠性、高性能、面向

刺骨的言语ヽ痛彻心扉/ 2022年05月29日 02:30/ 0 赞/ 477 阅读

相关 hbase_使用阿里云hbase

官网上的帮助：问：我配置了ZK地址以后，还是无法连接上HBase a) 首先。目前HBase还没有提供公网的访问地址。所以使用公网是无法访问到HBase的。您需要在和HB

今天药忘吃喽~/ 2022年05月25日 07:56/ 0 赞/ 234 阅读

相关阿里云搭建之路

1、修改阿里云主机名为medoo-Ai [root@izuf66x5cqbf5a9t8kemjaz /] vi /etc/sysconfig/network

布满荆棘的人生/ 2022年04月02日 11:45/ 0 赞/ 342 阅读

相关云HBase之OpenTSDB时序引擎压缩优化

摘要：在中国HBase技术社区第十届meetup--HBase生态实践（杭州站）上，阿里云技术专家郭泽晖为大家介绍了云HBase之时序引擎OpenTSDB的介绍及压缩优化，向

布满荆棘的人生/ 2022年01月23日 13:37/ 0 赞/ 436 阅读

相关基于阿里云HBase搭建OpenTSDB

OpenTSDB是一个基于HBase的分布式、可伸缩的开源时序数据库。OpenTSDB由TSD（Time Series Daemon）和一系列命令行工具组成。TSD用于接收用户

淩亂°似流年/ 2022年01月23日 13:35/ 0 赞/ 563 阅读

相关阿里云和腾讯云跨服务器搭建HBase集群

1、首先需要准备和启动hadoop环境和zookeeper环境，可以参考下面俩个教程 [搭建hadoop集群][hadoop] [搭建zookeeper集群][zook

àì夳堔傛蜴生んèń/ 2021年09月21日 12:06/ 0 赞/ 415 阅读

相关 Centos7下的环境搭建（基于阿里云服务器）

引言有些人买了esc服务器，搭建环境却发现无法访问自己安装的tomcat和mysql等服务，原因是三种：第一种就是没有设置esc服务器的配置规则，其二没有配置firew

迈不过友情╰/ 2021年09月21日 05:50/ 0 赞/ 346 阅读