Kubernetes生产实践系列之十八：ServiceMesh之在Kubernetes中对gRPC流量进行负载均衡

超、凢脫俗 2023-03-12 14:28 3阅读 0赞

## **一、前言** ##

gRPC服务在部署到Kubernetes之后，有来自Kubernetes内部和外部的gRPC访问请求，所以对负责请求接入和负载均衡的LB提出了更高的要求，除了实施传统的负载均衡策略，还要在七层实施数据包分解和路由。

业务的典型场景是外部客户端通过短连接访问API，经过外部LB、Kong、内部LB、Ingress到达内部请求接入服务，之后的内部调用通过gRPC长连接进行：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70][] Kubernetes平台内部和外部gRPC调用

转载自https://blog.csdn.net/cloudvtech

## **二、访问Kubernetes集群内gRPC服务的负载均衡** ##

### 2.1 K8S集群内服务访问集群内gRPC服务的负载均衡 ###

集群内服务访问集群内其它gRPC服务的时候，如果使用kube-proxy提供的基于iptables或者IPVS的四层负载均衡服务，则会造成gRPC长连接被绑定在某个固定的后端POD上，造成负载均衡的失效，要解决这个问题可以有两个方向进行选择：

*  集中式LB：Kubernetes Ingress Nginx
 *  分布式客户端LB：
    
     *  基于etcd服务发现的客户端负载均衡
     *  基于k8s sidecar的负载均衡：Linkerd/Istio

在我们的业务实践中，我们采用来基于etcd服务发现的客户端负载均衡，这种方式可以大幅减轻Ingress Nginx的压力，但是会增加业务系统的复杂度(业务研发需要负责服务注册、服务发现、负载均衡、端点可用性保障和错误处理)：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 1][] 基于etcd服务发现的客户端gRPC负载均衡

所有的服务都可以在etcd里面进行注册和发现：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 2][]

### 2.2 K8S集群外服务访问集群内gRPC服务的负载均衡 ###

外部访问集群内gRPC服务这个情况暂时还不是很普遍，因为外部业务请求一般都是客户端直接发起，都是HTTP短连接；针对特殊的gRPC长连接请求，可以直接通过v0.3.0版本以后Ingress Nginx进行访问支持：

[https://kubernetes.github.io/ingress-nginx/examples/grpc/][https_kubernetes.github.io_ingress-nginx_examples_grpc]

这个可以参看下一篇文章[《使用Ingress Nginx暴露Kubernetes上的gRPC服务》][Ingress Nginx_Kubernetes_gRPC]

转载自https://blog.csdn.net/cloudvtech

## **三、Kubernetes集群内服务访问外部gRPC服务的负载均衡** ##

Kubernetes集群内部服务要访问外部的gRPC服务，最直接的方案也是将外部服务注册到etcd上面，由客户端进行服务发现、服务维护和负载均衡：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 3][]

另外一种等价的方案就是通过Kubernetes将外部服务定义成cluster service或者endpoints，直接暴露给内部调用：

[https://kubernetes.io/docs/concepts/services-networking/service/\#services-without-selectors][https_kubernetes.io_docs_concepts_services-networking_service_services-without-selectors]

这种方式Kubernetes可以帮助进行服务注册，但是客户端要负责后续服务发现(为了避免使用Kubernetes的默认负载均衡方案，客户端需要通过service进行主动的服务发现)、存活管理和负载均衡。

另外，对这个方案的一个改进措施是在外部gRPC服务集群前端部署支持gRPC协议的负载均衡服务，比如Nginx/Envoy/ambassador等，这样Kubernetes平台的服务只需要和支持gRPC协议的负载均衡服务IP建立长连接即可：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 4][]

转载自https://blog.csdn.net/cloudvtech

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70]: /images/20230312/dee5417a6f3c4d338d15c58a04054438.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 1]: /images/20230312/14a58abab7de4a048461b8018eca1a11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 2]: /images/20230312/4cccaad981c041ceb13224e7f126aae2.png
[https_kubernetes.github.io_ingress-nginx_examples_grpc]: https://kubernetes.github.io/ingress-nginx/examples/grpc/
[Ingress Nginx_Kubernetes_gRPC]: https://blog.csdn.net/cloudvtech/article/details/106058828
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 3]: /images/20230312/984f86e4fc95401b8f49f59dc37b4dad.png
[https_kubernetes.io_docs_concepts_services-networking_service_services-without-selectors]: https://kubernetes.io/docs/concepts/services-networking/service/#services-without-selectors
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 4]: /images/20230312/1494536086e8488f83369755e0c50db7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，3人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kubernetes生产实践系列之四：在Kubernetes运行带Desktop的Ubuntu容器

一、前言在文章[《Kubernetes生产实践系列之二：在Kubernetes使用kubevirt运行管理Ubuntu/Windows桌面操作系统》][Kuber

ゝ一世哀愁。/ 2023年05月22日 22:41/ 0 赞/ 709 阅读

相关 Kubernetes生产实践系列之二：在Kubernetes使用kubevirt运行管理Ubuntu/Windows桌面操作系统

一、前言在容器化部署的云原生环境中，我们还是在某些情况下需要虚拟机来解决一些特殊的问题，最为直接的例子就是需要Desktop来运行一些带GUI的程序。这里尝试在Kube

深碍√TFBOYSˉ_/ 2023年05月22日 13:28/ 0 赞/ 19 阅读

相关 Kubernetes生产实践系列之十七：ServiceMesh之gRPC基本原理和实践

一、前言 gRPC是一款高效的RPC框架，基于HTTP/2进行设计并支持ProtoBuf序列化协议。gRPC使用长连接和单连接内部高并发来提高性能，这对于数据中心内部服务

绝地灬酷狼/ 2023年03月12日 14:28/ 0 赞/ 12 阅读

相关 Kubernetes生产实践系列之十八：ServiceMesh之在Kubernetes中对gRPC流量进行负载均衡

一、前言 gRPC服务在部署到Kubernetes之后，有来自Kubernetes内部和外部的gRPC访问请求，所以对负责请求接入和负载均衡的LB提出了更高的要求，除了实

超、凢脫俗/ 2023年03月12日 14:28/ 0 赞/ 4 阅读

相关 Kubernetes生产实践系列之三十：Kubernetes基础技术之集群计算资源管理

一、前言在Kubernetes环境中，CPU和内存是最主要的计算资源，Kubernetes建立了完善的机制来定义、分配、调度和控制这两类资源的使用。Kubernetes

落日映苍穹つ/ 2023年03月02日 07:52/ 0 赞/ 15 阅读

相关 Kubernetes生产实践系列之二十六：Kubernetes Operator之Operator SDK开发环境构建

一、前言 [Kubernetes Operator][]是由coreos公司提出的一个概念，旨在对Kubernetes的CRD概念进行系统化和框架化的有机组合。CRD是对

忘是亡心i/ 2023年02月17日 03:21/ 0 赞/ 9 阅读

相关 Kubernetes生产实践系列之二十九：Kubernetes基础技术之容器关键技术实践

一、前言在文章[《Kubernetes生产实践系列之二十八：Kubernetes基础技术之容器关键技术介绍》][Kubernetes_Kubernetes]中，对于Do

雨点打透心脏的1/2处/ 2022年11月26日 15:52/ 0 赞/ 357 阅读

相关使用IPVS实现Kubernetes入口流量负载均衡

新搭建的[Kubernetes][]集群如何承接外部访问的流量，是刚上手Kubernetes时常常会遇到的问题。在公有云上，官方给出了比较直接的答案，使用`LoadBalan

秒速五厘米/ 2022年06月15日 05:56/ 0 赞/ 250 阅读

相关 kubernetes系列之十一：在Kubernetes平台对容器进行debug

一、前言在容器云的部署中，一个重要的准则是所有的容器以及容器内的进行都要以最低权限运行，所以一般情况下，一个应用程序的所有容器都是以非root权限运行的；另外，为了保证容器

今天药忘吃喽~/ 2022年05月25日 07:40/ 0 赞/ 293 阅读

相关 kubernetes系列之十：使用prometheus和grafana对kubernetes的部署进行监控

一、前言不同于传统平台的监控，在容器云平台由于POD的易变动性，所以需要更加container native的监控解决方案，[Prometheus][]就是这样一个适合ku

港控/mmm°/ 2022年05月25日 02:23/ 0 赞/ 290 阅读