干货 | 亿级Web系统负载均衡几种实现方式

Myth丶恋晨 2021-08-31 02:51 333阅读 0赞

一个执着于技术的公众号

负载均衡(Load Balance)是集群技术(Cluster)的一种应用技术。负载均衡可以将工作任务分摊到多个处理单元，从而提高并发处理能力。目前最常见的负载均衡应用是Web负载均衡。根据实现的原理不同，常见的web负载均衡技术包括：**DNS轮询、IP负载均衡和CDN**。其中IP负载均衡可以使用硬件设备或软件方式来实现。

**什么是web负载均衡**

服务器集群(Cluster)使得多个服务器节点能够协同工作，根据目的不同，服务器集群可以分为：

*  高性能集群：将单个重负载的请求分散到多个节点进行处理，最后再将处理结果进行汇总。
 *  高可用集群：提高冗余单元，避免单点故障。
 *  负载均衡集群：将大量的并发请求分担到多个处理节点。由于单个处理节点的故障不影响整个服务，负载均衡集群同时也实现了高可用性。

一般提到的负载均衡(Load Balance)，是指实现负载均衡集群。负载均衡实现了横向扩展，避免纵向的升级换代。**本文中的web负载均衡，特指能够分担web请求(http，https等)的负载均衡技术。**

**基本原理**

任何的负载均衡技术都要想办法建立某种一对多的映射机制: 一个请求的入口映射到多个处理请求的节点，从而实现分而治之（Divide and Conquer）。

这种映射机制使得多个物理存在对外体现为一个虚拟的整体，对服务的请求者屏蔽了内部的结构。

采用不同的机制建立映射关系，可以形成不同的负载均衡技术，常见的包括：**a)DNS轮询、b) CDN加速、c) IP负载均衡**。

**DNS轮询**

DNS轮询是最简单的负载均衡方式。以域名作为访问入口，通过配置多条DNS记录使得请求可以分配到不同的服务器。

DNS轮询没有快速的健康检查机制，而且只支持WRR的调度策略导致负载很难“均衡”，通常用于要求不高的场景。并且DNS轮询方式直接将服务器的真实地址暴露给用户，不利于服务器安全。

DNS负载均衡技术的实现原理是在DNS服务器中为同一个主机名配置多个IP地址，在应答DNS查询时，DNS服务器对每个查询将以DNS文件中主机记录的IP地址按顺序返回不同的解析结果，将客户端的访问引导到不同的机器上去，使得不同的客户端访问不同的服务器，从而达到负载均衡的目的。

最早的负载均衡技术是通过DNS来实现的，在DNS中为多个地址配置同一个名字，因而查询这个名字的客户机将得到其中一个地址，从而使得不同的客户访问不同的服务器，达到负载均衡的目的。

DNS负载均衡是一种简单而有效的方法，但是它不能区分服务器的差异，也不能反映服务器的当前运行状态。

**CDN**

CDN(Content Delivery Network，内容分发网络)。通过发布机制将内容同步到大量的缓存节点，并在DNS服务器上进行扩展， 找到用户最近的缓存节点作为服务提供节点。

因为很难自建大量的缓存节点，所以通常使用CDN运营商的服务。目前国内的服务商很少，而且按流量计费，价格也比较昂贵。

**IP负载均衡**

IP负载均衡是基于特定的TCP/IP技术实现的负载均衡，比如NAT、DR、Tunneling等是最经常使用的方式。

IP负载均衡可以使用硬件设备，也可以使用软件实现。硬件设备的主要产品是F5-BIG-IP-GTM（简称F5)， 软件产品主要有LVS、HAProxy、NginX。其中LVS、HAProxy可以工作在4-7层，NginX工作在7层。

硬件负载均衡设备可以将核心部分做成芯片，性能和稳定性更好，而且商用产品的可管理性、文档和服务都比较好。唯一的问题就是价格。

软件负载均衡通常是开源软件。自由度较高，但学习成本和管理成本会比较大。

当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要通过搭建不同的服务和架构来解决。

当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据的问题。从单机到分布式，很重要的区别是业务拆分和分布式部署，将应用拆分后，部署到不同的机器上，实现大规模分布式系统。

分布式和业务拆分解决了，从集中到分布的问题，但是每个部署的独立业务还存在单点的问题和访问统一入口问题，为解决单点故障，我们可以采取冗余的方式。将相同的应用部署到多台机器上。解决访问统一入口问题，我们可以在集群前面增加负载均衡设备，实现流量分发。

**Web负载均衡(Load Balancing)**

简单地说就是将负载（工作任务，访问请求）进行平衡、分摊到多个操作单元（服务器，组件）上进行执行。对于保护处于后端的Web服务器来说，非常重要，是解决高性能，单点故障（高可用），扩展性（水平伸缩）的终极解决方案。

![format_png][]

负载均衡的策略有很多，我们从简单的讲起哈。

**1、HTTP负载均衡**

当用户发来请求的时候，Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url，然后浏览器再继续请求这个新url，实际上就是页面重定向。通过重定向，来达到“负载均衡”的目标。例如，我们在下载PHP源码包的时候，点击下载链接时，为了解决不同国家和地域下载速度的问题，它会返回一个离我们近的下载地址。重定向的HTTP返回码是302，如下图：

![format_png 1][]

如果使用PHP代码来实现这个功能，方式如下：

![format_png 2][]

这个重定向非常容易实现，并且可以自定义各种策略。但是，在大规模访问量下，性能不佳。而且，给用户的体验也不好，实际请求发生重定向，增加了网络延时。

**2、反向代理负载均衡**

参考：反向代理-银行系统使用，在防火墙外面放代理服务器，在防火墙里面放上真正的内容服务器 。

反向代理服务的核心工作主要是转发HTTP请求，扮演了浏览器端和后台Web服务器中转的角色。因为它工作在HTTP层(应用层)，也就是网络七层结构中的第七层，因此也被称为“七层负载均衡”。可以做反向代理的软件很多，比较常见的一种是Nginx。

![format_png 3][]

Nginx是一种非常灵活的反向代理软件，可以自由定制化转发策略，分配服务器流量的权重等。反向代理中，常见的一个问题，就是Web服务器存储的session数据，因为一般负载均衡的策略都是随机分配请求的。

同一个登录用户的请求，无法保证一定分配到相同的Web机器上，会导致无法找到session的问题。解决方案主要有两种：

*  a) 配置反向代理的转发规则，让同一个用户的请求一定落到同一台机器上（通过分析cookie），复杂的转发规则将会消耗更多的CPU，也增加了代理服务器的负担。
 *  b) 将session这类的信息，专门用某个独立服务来存储，例如redis/memchache，这个方案是比较推荐的。

反向代理服务，也是可以开启缓存的，如果开启了，会增加反向代理的负担，需要谨慎使用。这种负载均衡策略实现和部署非常简单，而且性能表现也比较好。但是，它有“单点故障”的问题，如果挂了，会带来很多的麻烦。而且，到了后期Web服务器继续增加，它本身可能成为系统的瓶颈。

**3、DNS负载均衡**

DNS(Domain Name System)负责域名解析的服务，域名url实际上是服务器的别名，实际映射是一个IP地址，解析过程，就是DNS完成域名到IP的映射。而一个域名是可以配置成对应多个IP的。因此，DNS也就可以作为负载均衡服务。

![format_png 4][]

这种负载均衡策略，配置简单，性能极佳。但是，不能自由定义规则，而且，变更被映射的IP或者机器故障时很麻烦，还存在DNS生效延迟的问题。

**4、CDN内容分发网络 (DNS /GSLB负载均衡)**

参考：CDN加速-内容分发网络。我们常用的CDN(内容分发网络)实现方式，其实就是在同一个域名映射为多IP的基础上更进一步，通过GSLB（Global Server Load Balance，全局负载均衡）按照指定规则映射域名的IP。一般情况下都是按照地理位置，将离用户近的IP返回给用户，减少网络传输中的路由节点之间的跳跃消耗。

![format_png 5][]

图中的“向上寻找”，实际过程是LDNS（Local DNS）先向根域名服务（Root Name Server）获取到顶级根的Name Server（例如.com的），然后得到指定域名的授权DNS，然后再获得实际服务器IP。

![format_png 6][]

CDN在Web系统中，一般情况下是用来解决大小较大的静态资源（html/Js/Css/图片等）的加载问题，让这些比较依赖网络下载的内容，尽可能离用户更近，提升用户体验。

例如，我访问了一张imgcache.gtimg.cn上的图片（腾讯的自建CDN，不使用qq.com域名的原因是防止http请求的时候，带上了多余的cookie信息），我获得的IP是183.60.217.90。

![format_png 7][]

这种方式，和前面的DNS负载均衡一样，不仅性能极佳，而且支持配置多种策略。但是，搭建和维护成本非常高。互联网一线公司，会自建CDN服务，中小型公司一般使用第三方提供的CDN。

## **5、IP负载均衡** ##

IP负载均衡服务是工作在网络层（修改IP）和传输层（修改端口，第四层），比起工作在应用层（第七层）性能要高出非常多。原理是，他是对IP层的数据包的IP地址和端口信息进行修改，达到负载均衡的目的。这种方式，也被称为“四层负载均衡”。常见的负载均衡方式，是LVS（Linux Virtual Server，Linux虚拟服务），通过IPVS（IP Virtual Server，IP虚拟服务）来实现。

![format_png 8][]

在负载均衡服务器收到客户端的IP包的时候，会修改IP包的目标IP地址或端口，然后原封不动地投递到内部网络中，数据包会流入到实际Web服务器。实际服务器处理完成后，又会将数据包投递回给负载均衡服务器，它再修改目标IP地址为用户IP地址，最终回到客户端。

![format_png 9][]

上述的方式叫LVS-NAT，除此之外，还有LVS-RD（直接路由），LVS-TUN（IP隧道），三者之间都属于LVS的方式，但是有一定的区别，篇幅问题，不赘叙。

IP负载均衡的性能要高出Nginx的反向代理很多，它只处理到传输层为止的数据包，并不做进一步的组包，然后直接转发给实际服务器。不过，它的配置和搭建比较复杂。

作者：aspirant

链接：www.cnblogs.com/aspirant/p/11607839.html

![format_png 10][]

往期精彩

◆  [手把手教你搭建一套OpenStack云平台][OpenStack]

◆  [利用expect批量修改Linux服务器密码][expect_Linux]

◆  [Linux运维工程师面试问答录][Linux]

◆  [干货 | Linux平台搭建网关服务器][_ Linux]

◆  [干货 | 理解正向代理与反向代理的区别][Link 1]

◆  [硬核科普服务器硬盘组成与基本原理][Link 2]

◆  [一文带你速懂虚拟化KVM和XEN][KVM_XEN]

◆  [实战 | Hadoo大数据集群搭建][_ Hadoo]

◆  [运维工程师心法：6大技能让你告别背锅][6]

![format_png 11][]

如有收获，点个在看，诚挚感谢

[format_png]: /images/20210726/7e687f13645c4714ae0351a44aebad00.png
[format_png 1]: /images/20210726/9b33f65b33174b6ea0fc7f5d2f8b1bf9.png
[format_png 2]: /images/20210726/71cfabc14d02448daf1629c1c9408904.png
[format_png 3]: /images/20210726/08a8259fa8c34d81a7e5e02546af1f3d.png
[format_png 4]: /images/20210726/9039d73a23fd455e89b49cc2ed0c10e1.png
[format_png 5]: /images/20210726/4156590c612a4ae3a941e4ddbf6eb45f.png
[format_png 6]: /images/20210726/de8b621d5eba4cacb05114aded587702.png
[format_png 7]: /images/20210726/ff8dcfe595544fbabdc9664c5de35bb0.png
[format_png 8]: /images/20210726/4afddb5f6eb24287b77125f0182b0225.png
[format_png 9]: /images/20210726/fa298a939a9845e594c4c445074c7abe.png
[format_png 10]: /images/20210726/9e38b43a3424471bb3f0371cc760172a.png
[OpenStack]: https://blog.csdn.net/weixin_38889300/article/details/105563051
[expect_Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d6b9dc135fafde24a277994f58efd8ca1c9a7de94b9d9dfe490afd027517a20134e4be06&idx=1&mid=2247484681&scene=21&sn=740ed69ba3c2420b128453f64c9f9e79#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d775dc135e63e6d5a9d488c0a8b3c863655a90b94cfc0e5f8ce6a49a09f04a096dda52b6&idx=1&mid=2247484613&scene=21&sn=8c93aa6f56ea0422085240336de7c1e9#wechat_redirect
[_ Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d014dc135902f4698838249e6bf60a5c378b4d6ef5151547c403d85c5d2e5f91e0e7d9ce&idx=1&mid=2247484324&scene=21&sn=6cd6ea36d1372fbfd937b3fdc219948d#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d7ecdc135efa49083407e26cb5d1cc962f0cc690e5f1530ccefc3661808eb3492e0c178a&idx=1&mid=2247484508&scene=21&sn=d6bcc35f962b58debdcbf6cecdea3cb6#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d0a4dc1359b26f68145f11eb9c718195d55fb2f2b598a9b26c7fcf9e238743064bae32ff&idx=1&mid=2247484180&scene=21&sn=83aeff4baa65ba2e16196d3ae84d5f4d#wechat_redirect
[KVM_XEN]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d07bdc13596dbbef1dd33d89684a4bc98fa0fee3338524c0e17226e8cf726818bd26ff76&idx=1&mid=2247484363&scene=21&sn=daad565c5ccea381e0ec580412ce049b#wechat_redirect
[_ Hadoo]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d78edc135e98503e24685c66df4c20bde0579bd338436c2c4dba92635cc2dd224d86fe57&idx=1&mid=2247484478&scene=21&sn=be9153d011c877a1da9297ed465a9405#wechat_redirect
[6]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d705dc135e13f6c1a24fa082c4081df3b967597467563f65752bf42c4b1bb80f85616df9&idx=1&mid=2247484597&scene=21&sn=a1f803f96ee89343c88c10dc1dd9d52b#wechat_redirect
[format_png 11]: /images/20210726/3f3924f167f24019b918cb7ce12c91ff.png