大型网站架构阅读(二)架构模式

一时失言乱红尘 2024-02-19 13:47 62阅读 0赞

1.网站架构模式简介：

随着网站架构的逐渐演变，在其为了解决高并发访问，海量数据处理，高可靠运行等问题，大型互联网公司提出了很多解决方案，这些解决方案逐渐形成了大型网站架构模式。

2.分类：

分层，分割，分布式，集群，缓存，异步，冗余，自动化， 安全

3.说明：

**分层：横向方面切分**

![E4_B8_89_E5_B1_82_E7_9A_84_E5_88_86_E5_B1_82_E5_BC_8F_E7_BB_93_E6_9E_84.bmp][]

![2018112622445725.png][]

企业应用系统中最常见的一种架构模式，将系统在横向维度切分成几个部分，每个部分负责一部分相对比较单一的职责。然后通过上层对下层的依赖和调用组成一个完整的系统。  
应用层，服务层，数据层  
分层是相互独立，具有一定的独立性只需要维护调用接口不变，各层可以根据具体问题独立演化发展。  
分层架构必须合理规划层次边界和接口，在开发过程中严格遵循分层架构的约束，禁止跨层次调用（应用层直接调用数据层）及逆向调用数据层调用服务层，或者服务层调用应用层）  
在实践中，大的分层结构内部还可以分层，如应用层可以分为视图层（美工负责）和业务逻辑层（工程师负责）；服务层也可以细分为数据接口层（适配各种输入和输出的数据格式）和逻辑处理层。  
分层架构是逻辑上的，在物理部署上，三层接口可以部署在同一个物理机器上，也可以分开部署在不同的服务器上。分层架构是网站 架构的从小到大的必经之路。

**分割：纵向方面对软件进行切分**  
网站越大，功能越复杂，服务和数据处理的种类也越来越多。将这些不同的功能和服务分割开来，包装成高内聚低耦合的模块单元，  
一方面有助于软件的开发和维护，另一方面，便用于不同模块的分布式部署，提高网站的并发处理能力和功能扩展能力。  
大型网站分割的粒度可能会更小，比如在应用层，将不同业务分割，例如将购物，论坛，搜索，广告分割成不同的应用，  
有独立的团队负责，部署在不同的服务器上；

**分布式：**

对大型网站，分层和分割的一个主要目的是为了切分后的模块便于分布式部署，即将不同的模块不是在不同的服务器上，通过 远程调用协同工作。分布式意味者可以使用更多的计算机完成同样的功能，计算机越多，cpu，内存，存储资源也就越多，能够处理的并发访问和数据量就越大，进而能够味更多的用户提供服务。但是分布式在解决网站高并发问题的同时也带来了其他问题，首先 分布式意味者服务调用必须通过网络，这可能会对性能造成比较严整的影响;其次，服务器越多，服务器宕机的概率也就越大，一台服务器宕机造成的服务不可用可能回导致很多应用不可访问， 是网站可用性降低。另外，数据在分布式的环境中保持数据一致性也非常困难，分布式事务也难以保证，这对网站业务正确性和业务流程有可能造成很大的影响；分布式还导致了网站依赖错综复杂，开发管理维护困难。因此分布式设计要根据具体情况量力而行。

常用的分布式有：  
分布式应用和服务：将分层和分割后的应用和服务模块分布式部署 ，除恶了可以改善网站性能和并发，加快开发和发布速度，减少数据来凝结资源消耗外；还可以是不同的应用服用共同的服务；便于业务功能扩展。  
分布式静态资源：js css logo图片等资源独立分布式部署，并采用独立的域名。可以减轻应用服务器的负载压力；通过  
使用独立的域名加快浏览器并发加载的速度；  
分布式数据和存储：Nosql等产品。  
分布式计算： 严格来说，应用 ，服务，实时数据处理都是计算，网站除了要处理这些在线业务，还有很大一部分用户没有直观感受 的后台业务要处理包括搜索引擎的索引构建，数据仓库的数据分析统计等。  
目前网站普遍使用的hadoop及其MapReduce分布计算框架进行此类批处理计算，特点移动计算。  
分布式配置 分布式锁 分布式文件系统等。

**集群：**  
分层和分割后的模块独立部署，但是对用户访问集中的模块进行服务器集群化。  
  
服务器集群有更多的服务器提供相同的服务，可以提供更好的并发特性，可以提供系统的可用性。

**缓存：**  
  
目的：加快处理速度，改善软件性能。  
  
分类：

CDN: 即内容分发网络，部署在距离终端用户最近的网络服务商，用户的网络请求总是先到达他的网络服务商那里，在这里缓存网站的一些静态资源（较少变化的数据），可以就近以最快速度返回给用户，如视频网站和门户网站会将用户访问M大的热点内容缓存在CDN。  
反向代理：反向代理属于网站前端架构的一部分，部署在网站的前端，当用户请求到达W站的数据中心时，最先访问到的就是反向代理服务器，这里缓存网站的静态资源，无需将请求继续转发给应用服务器就能返回给用户。  
本地缓存：在应用服务器本地缓存着热点数据，应用程序可以在本机内存中直接访问数据，而无需访问数据库。  
分布式缓存：大型网站的数据M非常庞大，即使只缓存一小部分，需要的内存空间也不是单机能承受的，所以除了本地缓存，还需要分布式缓存，将数据缓存在一个专门的分布式缓存集群中，应用程序通过网络通信访问缓存数据。  
使用缓存有两个前提条件，一是数据访问热点不均衡，某些数据会被更频繁的访问,这些数据应该放在缓存中；二是数据在某个时间段内有效，不会很快过期，否则缓存的数据就会因已经失效而产生脏读，影响结果的正确性。网站应用中，缓存除了可以加快数据访问速度，还可以减轻后端应用和数据存储的负载压力，这一点对网站数据库架构至关重要，网站数据库几乎都是按照有缓存的前提进行负载能力设计的。

**冗余:**  
网站不间断运行，但是服务器宕机有可能发生，这个时候旧需要服务器在宕机的情况下网站依然能继续服务，不丢失数据， 就需要一定程度的服务器冗余运行，数据冗余本分，这样就能保证在某台服务器宕机时，可以将其商的服务和数据访问转移到其他机器上。  
**服务器集群，数据库除了定期备份**，存档保存实现冷备份之外，还需要数据库主从复制 实时同步实现热备份。

**自动化：**  
  
在无人值守的情况下网站可以正常运行，一切都可以自动化是网站的理想状态。目前集中在运维方面。

自动化代码管理，自动化测试，自动化安全监测 自动化部署，自动化监控，自动化报警，自动化失效转移，自动化失效恢复  
自动化降级 自动化分配资源

**异步：**

业务之间的消息传递不是同步调用，而是将一个业务操作分成多个阶段，每个阶段通过共享数据的方式异步执行进行协作。  
在单一服务器内部通过多线程共享内存队列的方式实现异步，在处理业务操作前面的线程将输出写入到队列中，后面的线程从队列中读取数据进行处理；在分布式中，多个服务器集群通过分布式消息队列实现异步，分布式消息队列可以看作内存队列的分布式部署。

异步典型的是生产者和消费者模式。如RabbitMq,activeMq,JMS，kafka等。

**安全：**

互联网的开放特性使得其从诞生起就面对巨大的安全挑战，网站在安全架构方面也 积累了许多模式：通过密码和手机校验码进行身份认证；登录、交易等操作需要对网络 通信进行加密，网站服务器上存储的敏感数据如用户信息等也进行加密处理；为了防止 机器人程序滥用网络资源攻击网站，网站使用验证码进行识别；对于常见的用于攻击网站的**XSS攻击、SQL注入、进行编码转换**等相应处理；对于垃圾信息、敏感信息进行过 滤；对交衫转账等重要操作根据交易模式和交易信息进行风险控制。

[E4_B8_89_E5_B1_82_E7_9A_84_E5_88_86_E5_B1_82_E5_BC_8F_E7_BB_93_E6_9E_84.bmp]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/308e11b73af44f90b6060e5cfdba82a2.png
[2018112622445725.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/45cca6e5c6ec4438a05f975fea5adb9d.png