详解 Apache SkyWalking OAP 的分布式计算

喜欢ヅ旅行 2023-01-18 13:26 10阅读 0赞

SkyWalking的OAP（Observability Analysis Platform，观测分析平台）是一个用于链路数据的分布式计算系统。

因为它巧妙的设计，使得在链路数据计算和聚合过程中，不需要考虑数据的一致性，也没有事务、分布式锁等概念。

在极端情况下，可能出现链路数据的丢失,但会最大限度保障OAP集群的可用性。咱们来看一下，它是如何设计的，为以后的系统设计和架构提供一些思路。

### 数据类型 ###

在介绍分布式计算之前，咱们先了解一下需要计算的数据都有哪些类型：

*  Record数据，即明细数据，如Trace、访问日志等数据，由`RecordStreamProcessor`进行处理。
 *  Metrisc数据，即指标数据，绝大部分的OAL指标都会生成这种数据，由`MetricsStreamProcessor`进行处理。
 *  TopN数据，即周期性采样数据，如慢SQL的周期性采集，由`TopNStreamProcessor`进行处理。

### 分布式计算 ###

像Trace、访问日志等这样的**明细数据**，数据量比较大，但是不需要归并处理，所以在OAP节点内部处理即可完成。明细数据采用缓存、异步批量处理和流式写入的方式写入到存储中。

绝大部分由OAL（Observability Analysis Language，观测分析语言）定义的**指标数据**是需要分布式聚合计算的，所以在OAP集群计算流中分成了两种步骤。

步骤一：接收和解析探针发送的数据，并进行当前OAP节点内的数据聚合，使用OAL或者其他聚合模式。如果是不需要分布式聚合的数据，直接写入到存储中；如果是需要分布式聚合的数据，根据一定的路由规则发送给指定的OAP节点。

步骤二：接收和解析经步骤一处理过的数据，然后进行二次聚合计算，并写入到存储中。

因为上面两个步骤极有可能不在同一个OAP节点上，所以OAP节点被分为`Receiver`（步骤一）和`Aggregator`（步骤二）两种角色。

为了减少部署难度，所有OAP节点在默认情况下都会使用`Mixed`角色（既可以进行步骤一的操作，也可以进行步骤二的操作）。在大规模部署的时候，可以根据网络流量进行角色分离的两级部署。

**指标数据**是计算资源消耗最大的分布式计算，也是整套分布式计算要支持的核心计算类型。在此计算过程中，使用哈希路由策略，根据计算的实体，如服务ID、端点ID等的哈希值来选择对应的OAP节点。

OAP节点之间的通信采用的是 gRPC stream 模式，传输过程中不包含业务字段名称，按照数据类型和字段定义顺序进行序列化，减少非数据字段的传输。

> 注：本文以SkyWalking的8.2.0版本为例进行介绍，如果版本不同会略有差异。

> 文章持续更新，微信搜索「**万猫学社**」第一时间阅读。  
> 关注后回复「**电子书**」，免费获取12本Java必读技术书籍。

发表评论取消回复

表情：

评论列表（有 0 条评论，10人围观）

还没有评论，来说两句吧...

相关阅读

相关【Skywalking】一、分布式链路跟踪-Skywalking

Skywalking分布式链路跟踪一、Skywalking分布式链路跟踪 1、 Skywalking主要功能特性 2、Skywalkin

古城微笑少年丶/ 2023年10月09日 14:51/ 0 赞/ 57 阅读

相关图解 Apache SkyWalking UI 的使用

Apache SkyWalking的UI界面主要分为以下几个区域： ![20210219180429223.jpg][] 功能选择区：这里列出了主要的UI功能，包括仪

﹏ヽ暗。殇╰゛Y/ 2023年10月05日 19:57/ 0 赞/ 12 阅读

相关全链路分布式跟踪系统 Apache SkyWalking 入门教程

先决条件 [确保有一套运行正常的 Kubernetes 集群][Kubernetes]，本文默认为使用 Elasticsearch7 作为后端存储；如果想把 ES 放到 K

女爷i/ 2023年01月21日 09:23/ 0 赞/ 323 阅读

相关详解 Apache SkyWalking OAP 的分布式计算

SkyWalking的OAP（Observability Analysis Platform，观测分析平台）是一个用于链路数据的分布式计算系统。因为它巧妙的设计，使得在链路

喜欢ヅ旅行/ 2023年01月18日 13:26/ 0 赞/ 11 阅读

相关 Apache SkyWalking 分布式追踪与监控的快速入门

文章目录 Apache SkyWalking 分布式追踪与监控的快速入门 APM系统概述主流的开源APM产品 Skywal

拼搏现实的明天。/ 2022年11月19日 01:17/ 0 赞/ 507 阅读

相关 Apache SkyWalking 告警配置指南

Apache SkyWalking Apache SkyWalking是分布式系统的应用程序性能监视工具（Application Performance Manageme

た入场券/ 2022年11月16日 02:46/ 0 赞/ 416 阅读

相关详解 Apache SkyWalking 的跨进程传播协议

简介 SkyWalking 跨进程传播协议是用于上下文的传播，本文介绍的版本是3.0，也被称为为`sw8`协议。 Header项 Header应该是上下文传播的最

﹏ヽ暗。殇╰゛Y/ 2022年10月14日 00:44/ 0 赞/ 197 阅读

相关 27.链路追踪-skywalking-oap

27.链路追踪-skywalking-oap 我们这里手动构造资源文件部署skywalking到k8s集群中 > Helm安装参考https://github.com/

痛定思痛。/ 2022年10月12日 01:01/ 0 赞/ 350 阅读

相关 Apache Skywalking的部署与实践

一、关于 Apache Skywalking SkyWalking是针对分布式系统的APM（应用性能监控）系统，项目开源，目前已经已被apache收录，githu

曾经终败给现在/ 2022年05月29日 10:16/ 0 赞/ 344 阅读

相关 Apache SkyWalking 5.0中文版图文详解使用手册

Apache SkyWalking 5.0中文版图文详解使用手册转自：[http://skywalking.apache.org/zh/blog/2018-12-18-

灰太狼/ 2022年01月18日 20:11/ 0 赞/ 868 阅读