Kubernetes 稳定性保障手册 -- 可观测性专题

╰半橙微兮° 2022-11-15 15:43 200阅读 0赞

![头图.png][.png]

作者 | 悟鹏  
来源 | [阿里巴巴云原生公众号][Link 1]

《Kubernetes 稳定性保障手册》系列文章：

*  [Kubernetes 稳定性保障手册 – 极简版][Kubernetes _ _]
 *  Kubernetes 稳定性保障手册 – 日志专题
 *  Kubernetes 稳定性保障手册 – 可观测性专题（本文）

伴随大家对稳定性重视程度的不断提升、社区可观测性项目的火热，可观测性成为了一个很热门的话题，站在不同的角度会产生不同的理解。

我们从软件开发的生命周期出发，尝试形成对可观测性的一个宏观理解，并从 SRE 和 Serverless 两个角度具化可观测性的理解以及实践。

## 目的 ##

*  增强认知，通过全局把握来提升竞争力
 *  通过合理的设计和实践，为未来带来可能性

## 目标 ##

*  针对可观测性的理解达成一致
 *  针对可观测性的发展方向达成一致

## 什么是可观测性？ ##

从 [wikipedia: Observability][wikipedia_ Observability] 可理解到 **可观测性** 的定义：

> In control theory, observability is a measure of how well internal states of a system can be inferred from knowledge of its external outputs.

Consider a physical system modeled in state-space representation. A system is said to be observable if, for any possible evolution of state and control vectors, the current state can be estimated using only the information from outputs (physically, this generally corresponds to information obtained by sensors). In other words, one can determine the behavior of the entire system from the system’s outputs. On the other hand, if the system is not observable, there are state trajectories that are not distinguishable by only measuring the outputs.

简单表述为，可观测性是一种方法，通过系统的外部输出推导出系统内部的状态。

下图简化了系统的组成和系统间的交互：

![1.png][]

从上述交互图可了解到，系统的交互行为有如下几种形态：

*  系统内部
    
     *  组件功能闭环，不与其他组件或系统交互
     *  组件之间交互
 *  系统之间
    
     *  系统和系统之间进行交互

这样，通过如下两种形态的信息，就可以通过系统的外部输出了解到系统的内部状态：

*  组件闭环的信息
 *  组件间或系统间流动的信息

## 可观测性的问题域是什么？ ##

可观测性的核心在于 **通过观测数据、满足不同人群、对于系统状态的理解需求**，这里先抽象观测数据的生命周期，有如下图示：

![2.png][]

观测数据通过 App 生成，经过中间处理环节后进行存储，然后提供查询服务。

观测数据服务于不同类型的人群，如产品的用户、业务、研发、SRE，不同的人群通过不同的形态来使用这些数据，包括 SLA / SLO / SLI / Alert 等。

根据可观测数据的生命周期，可粗略总结可观测性的问题域：

*  生成端
    
     *  观测数据的数据模型
     *  观测数据的生成
     *  观测数据的导出
 *  处理端
    
     *  观测数据的采集
     *  观测数据的处理
     *  观测数据的导出
 *  存储端
    
     *  观测数据的存储
     *  观测数据的查询
     *  观测数据的使用
 *  使用端
    
     *  观测数据的消费

## 软件开发生命周期中，可观测性的服务目标是什么？ ##

从项目整体视角来看软件开发的生命周期，有如下的流程：

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nslyMlQx-1617331290052)(https://ucc.alicdn.com/pic/developer-ecology/7d8633ef2801470184bb95596e350311.png)\]

细化下来：

![4.png][]

在软件开发生命周期中，有 4 类角色。面对 4 类角色，可观测性的服务目标会有差异：

![4-1.jpg][]

Note:

*  **可靠** 与 **稳定** 不是等同的关系，**可靠** 包含了 **稳定+及时满足功能需求** 特征

## SRE 可以投入的方向 ##

基础服务：

![4-2.jpg][]

可以将 [OpenTelemetry][] 作为基础落地上述事项，参见：[《OpenTelemetry 简析》][OpenTelemetry 1]。

与此同时，可以探索可视化的稳定性保障服务，从全局视角加快问题发现、定位、解决，一张图把握集群中「组件自身」和「组件之间交互」的健康状态 ，形如下图：

![5.png][]

以此为入口，从整体把握集群状态，关联异常信息，处理问题时有的放矢。

## Serverless 场景下可观测性 ##

Serverless 是目前很有前景的云上计算形态，阿里云提供了比较完整的 Serverless 计算产品，如下：

![6.png][]

不同 Serverless 计算环境的一个主要差异点在于运行环境的持续时间，以此为出发点，可以抽象出 Serverless 计算环境中可观测性的核心，然后分解出相应的解决方案：

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0PFJx0ra-1617331290060)(https://ucc.alicdn.com/pic/developer-ecology/51b3f393b3a14e59a401c959148c9b13.png)\]

根据运行环境持续时长的不同，可粗略划分为 3 类：

*  天级别
 *  小时级别
 *  分钟或秒级别

这些运行环境均可以通过虚拟机、容器或 WebAssembly 等技术实现，区别点在于业务层面限定的运行环境持续时长。

根据运行环境持续时长的特征，平台和用户的关注核心会有相应的变化：

*  天级别的运行环境，平台方的核心在于提供可靠的运行环境，由用户自由管理应用
    
     *  对于可观测性，平台方核心在于运行环境可靠性，用户核心在于应用环境稳定性和请求响应性能
 *  小时级别的运行环境，平台方的核心在于围绕应用提供管理服务，用户聚焦于业务自身
    
     *  对于可观测性，平台方核心在于应用运行稳定性和请求响应性能，用户核心在于业务特征
 *  分钟或秒级别的运行环境，平台方的核心在于细粒度的用户业务逻辑管理，用户更聚焦在业务的敏感特征
    
     *  对于可观测性，平台方核心在于请求响应可靠性和业务特征，用户核心在于核心业务特征

对于 FaaS 场景，[THUNDRA 公司][THUNDRA] 的 [demo][] 提供了比较好的示例以供参考 (截取 3 个示例)：

*  函数

![8.png][]

*  应用

![9.png][]

*  架构

![10.png][]

## 小结 ##

通过对可观测性概念、问题域、不同层级需求等形成深入理解，可以形成对可观测性的理解大图，然后在此基础上与业务结合，增强业务在可观测性方面的竞争力，同时迭代理解，技术与业务相互促进。

## References ##

*  [wikipedia: Observability][wikipedia_ Observability]
 *  [wikipedia: Service-level objective][wikipedia_ Service-level objective]
 *  [wikipedia: Service-level agreement][wikipedia_ Service-level agreement]
 *  [wikipedia: Service level][wikipedia_ Service level]
 *  [Google-Wide Profiling: A Continuous Profiling Infrastructure for Data Centers][Google-Wide Profiling_ A Continuous Profiling Infrastructure for Data Centers]
 *  [conprof - Continuous Profiling][]
 *  [OpenTelemetry Proposal issues: Adding profiling as a support event type][OpenTelemetry Proposal issues_ Adding profiling as a support event type]
 *  [Kubernetes scalability and performance SLIs/SLOs][Kubernetes scalability and performance SLIs_SLOs]
 *  [从 DevOps 到 NoOps，Serverless 技术的落地方式探讨][DevOps _ NoOps_Serverless]

**欢迎大家留言交流使用 Kubernetes 过程中的稳定性保障问题，以及对稳定性保障的期待工具或服务。大家也可通过邮箱联系作者，进一步深入交流：flyer.zyf@alibaba-inc.com**。

[.png]: /images/20221022/1690937a842248fbbe4782549e01a9a1.png
[Link 1]: https://mp.weixin.qq.com/s/G2UoyOFHOQbvq39hkrVFDg
[Kubernetes _ _]: http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247501775&idx=1&sn=8b3b27934e7bced10b2a7f81483e3256&chksm=fae6cc00cd9145168b57c579ed488a7f92b67f86daf039de6b9518995d9e1ad27df2a382290e&scene=21#wechat_redirect
[wikipedia_ Observability]: https://en.wikipedia.org/wiki/Observability
[1.png]: https://img-blog.csdnimg.cn/img_convert/c8e7b6e850b128100c776beb01f5b615.png
[2.png]: https://img-blog.csdnimg.cn/img_convert/99a6d11e80d3a105c1875d62652d6bd6.png
[4.png]: https://img-blog.csdnimg.cn/img_convert/bf6d1e919576bb38664dfc584f4a63d7.png
[4-1.jpg]: https://img-blog.csdnimg.cn/img_convert/433d2f2e1900e6c80162b1e393fd921d.jpg
[4-2.jpg]: https://img-blog.csdnimg.cn/img_convert/010d5252a626d16b7e1acae7535b3090.jpg
[OpenTelemetry]: https://opentelemetry.io/
[OpenTelemetry 1]: https://mp.weixin.qq.com/s/n4eVf2KZRIp2yKACk88qJA
[5.png]: https://img-blog.csdnimg.cn/img_convert/7a09480a5e33d375c3fc40b256c90a18.png
[6.png]: https://img-blog.csdnimg.cn/img_convert/8c12d0716b932c6dd34d18a33c02593c.png
[THUNDRA]: https://www.thundra.io/
[demo]: https://demo.thundra.io/functions
[8.png]: https://img-blog.csdnimg.cn/img_convert/1628dc77aa2120bf642133c43aaf8716.png
[9.png]: https://img-blog.csdnimg.cn/img_convert/b551775c4906994e8772a9107f9686d7.png
[10.png]: https://img-blog.csdnimg.cn/img_convert/c9045452ec36144df62569292a775858.png
[wikipedia_ Service-level objective]: https://en.wikipedia.org/wiki/Service-level_objective
[wikipedia_ Service-level agreement]: https://en.wikipedia.org/wiki/Service-level_agreement
[wikipedia_ Service level]: https://en.wikipedia.org/wiki/Service_level
[Google-Wide Profiling_ A Continuous Profiling Infrastructure for Data Centers]: https://research.google/pubs/pub36575/
[conprof - Continuous Profiling]: https://github.com/conprof/conprof
[OpenTelemetry Proposal issues_ Adding profiling as a support event type]: https://github.com/open-telemetry/oteps/issues/139
[Kubernetes scalability and performance SLIs_SLOs]: https://github.com/kubernetes/community/blob/master/sig-scalability/slos/slos.md
[DevOps _ NoOps_Serverless]: https://developer.aliyun.com/article/754236