Doris是什么？

素颜马尾好姑娘i 2023-07-18 11:22 41阅读 0赞

**一、什么是Doris**  
Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。

开源地址：[http://doris.apache.org/documentation/cn/installing/index.html][http_doris.apache.org_documentation_cn_installing_index.html]  
下载地址：[http://doris.apache.org/documentation/cn/downloads/downloads.html][http_doris.apache.org_documentation_cn_downloads_downloads.html]

**二、Doris架构**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70]

FE：Frontend，即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
    BE：Backend，即 Doris 的后端节点。主要负责数据存储与管理、查询计划执行等工作。

**三、作用**  
1、对数据分析、统计  
2、报表  
3、多维分析  
4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。  
5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 技术，在数据查询延迟上表现非常突出。  
6、Doris 的聚合模型主要用于数据的汇总分析，明细模型主要用于明细数据的查询。  
7、相对于 Kylin 只支持汇总模型，Doris 适用的数据场景更加广泛。

**四、安装部署**

**开发环境：**

Java 1.8 及以上  
GCC 4.8.2 及以上

**开发环境：**

Frontend 8核+ 8GB+ SSD 或 SATA，10GB+ \* 千兆网卡 1  
Backend 8核+ 16GB+ SSD 或 SATA，50GB+ \* 千兆网卡 1-3 \*

**注意1：**

FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。  
BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 \* 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。  
一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。多个FE所在服务器的时钟必须保持一致（允许最多5秒的时钟偏差）  
测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。  
所有部署节点关闭 Swap。

**注意2：FE 节点的数量**

FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower，具体含义见 元数据设计文档）。  
FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。  
Follower 的数量必须为奇数，Observer 数量随意。  
根据以往经验，当集群可用性要求很高是（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

**安装docker**

yum -y install docker-io
    service docker start

**下载doris**

docker pull apachedoris/doris-dev:build-env

**检查镜像：**

$ docker images

**运行：**

docker run -it apachedoris/doris-dev:build-env

[http_doris.apache.org_documentation_cn_installing_index.html]: http://doris.apache.org/documentation/cn/installing/index.html
[http_doris.apache.org_documentation_cn_downloads_downloads.html]: http://doris.apache.org/documentation/cn/downloads/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70]: /images/20230528/9c181a9294304e90850f1dff17094188.png