架构：资源隔离。

矫情吗；* 2022-11-27 08:55 163阅读 0赞

# 什么叫资源隔离？ #

服务隔离是指在一个大型系统中，可以把原连接在一起的组件，模块，服务，资源拆分开。那么在系统出现故障的时候，可以隔离故障，阻止传播，不会出现滚雪球和雪崩的效应。

隔离的方式主要有

*  线程隔离
 *  进程隔离
 *  集群隔离
 *  机房隔离
 *  读写隔离
 *  动静隔离
 *  爬虫隔离
 *  资源隔离
 *  等....

# 线程隔离 #

主要是在多线程环境下，对线程池进行治理，把核心业务和非核心业务分割开。

## 举例 ##

**Tomcat**中的资源隔离

## 问题 ##

1.  资源一旦出现问题，虽然是隔离状态，想要让资源重新可用，很难做到不重启jvm。
2.  线程池内部线程如果出现OOM、FullGC、cpu耗尽等问题也是无法控制的

## 结论 ##

线程隔离，只能保证在分配线程这个资源上进行隔离，并不能保证整体稳定性

# 进程隔离 #

在项目最初期，一般都是allinone的技术架构，然后做负载均衡，session共享。

通过线程隔离无法完全避免雪崩。

java cpu、内存这些资源可以通过不同的虚拟机进程来做隔离。

1.  集群式
2.  分布式

# 集群隔离 #

如果系统中某个业务模块包含像

*  抢购、秒杀
 *  存储I/O密集度高
 *  网络I/O高
 *  计算I/O高

这类需求的时候，很容易在并发量高的时候因为这种功能把整个模块占有的资源全部耗尽，导致响应编码甚至节点不可用。

## 解决方案 ##

*  独立拆分模块
 *  微服务化

可以使用hystrix在微服务中隔离分布式服务故障。他可以通过线程和信号量进行隔离。

# 机房隔离异地多活 #

解决数据容量大，计算，i/o（网络）密集度高的问题

把服务建立整体副本（计算服务、数据存储），在多机房内做异地多活或冷备份、是微服务数据异构的放大版

当在机房层面出现问题的时候，可以通过智能dns、httpdns、负载均衡等技术快速切换

# 数据（读写）分离 #

通过主从模式，将mysql、redis等数据存储服务集群化，读写分离，那么在写入数据不可用的时候，也可以通过**重试机制**临时通过其他节点读取到数据。

多节点在做子网划分的时候，除了异地多活，还可以做数据中心，所有数据在本地机房crud 异步同步到数据中心，数据中心再去分发数据给其他机房

那么数据临时在本地机房不可用的时候，就可以尝试连接异地机房或数据中心。

# 动静隔离 #

把静态资源从原有服务中隔离出来，参考cdn技术

# 爬虫隔离 #

目前我们开发的都是API接口，并且多数都是开放的API接口。也就是说，只要有人拿到这个接口，任何人都可以通过这个API接口获取数据，那么像网络爬虫的，请求速度又快，获取的数据又多，不用多久，爬虫方完全可以用我们API的接口来开发一个同样的网站，这样的话，后果就有点严重了，所以我们需要限流，限制访问的频率

开放平台的API接口调用需要限制其频率，以节约服务器资源和避免恶意的频繁调用

在大型互联网项目中，对于web服务和网络爬虫的访问流量能达到5:1，甚至更高，有的系统有时候就会因为爬虫流量过高而导致资源耗尽，服务不可用。

## 限流维度 ##

*  登录/会话限制
 *  下载限流
 *  访问频率
 *  ip限制，黑白名单

想要分辨出来一个访问是不是爬虫，可以简单的使用nginx来分析lua处理

nginx不仅可以处理lua来分离流量，还可以通过更强大的openresty来完成更复杂的逻辑，实现一个流量网关，软防火墙。

# 资源隔离 #

*  磁盘
 *  数据库

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关 Docker 的资源隔离与资源限制

Docker 的资源隔离与资源限制 * Docker容器的本质 * Linux内核的namespace机制 * * linux的namespace机制...

墨蓝/ 2024年04月18日 11:36/ 0 赞/ 89 阅读

相关 Apache Doris 资源隔离详解

Apache Doris 资源隔离详解一、简述二、测试体验 2.1 BE节点设置标签 2.1.1 分组前

你的名字/ 2023年10月14日 13:41/ 0 赞/ 13 阅读

相关微服务架构：容错隔离。

我们知道，在单体应用的架构下一旦程序发生了故障，那么整个应用可能就没法使用了，所以我们要把单体应用拆分成具有多个服务的微服务架构，来减少故障的影响范围。但是在微服务架构下，有一

太过爱你忘了你带给我的痛/ 2023年06月25日 04:48/ 0 赞/ 13 阅读

相关 Java架构师Day39-服务治理之资源隔离

资源隔离服务中的资源管理方案线程隔离进程隔离集群隔离机房隔离读写隔离动静隔离爬虫隔离异地多活

傷城~/ 2023年01月08日 06:22/ 0 赞/ 162 阅读

相关架构：资源隔离。

什么叫资源隔离？服务隔离是指在一个大型系统中，可以把原连接在一起的组件，模块，服务，资源拆分开。那么在系统出现故障的时候，可以隔离故障，阻止传播，不会出现滚雪球和雪崩的

矫情吗；*/ 2022年11月27日 08:55/ 0 赞/ 164 阅读

相关 Hystrix的资源隔离

所谓资源隔离，要解决的最最核心的问题，就是将多个依赖服务的调用分别隔离到各自的资源池内。资源隔离的作用就是，当前服务所依赖的任何一个服务出现故障，都不会拖垮当前服务。

绝地灬酷狼/ 2022年11月04日 12:25/ 0 赞/ 143 阅读

相关 PDB资源隔离

CPU隔离 show parameter cpu_count IO隔离 MAX\_IOPS：限制每秒IO操作次数 MAX\_MBPS：限制每秒IO吞吐

系统管理员/ 2022年09月02日 13:58/ 0 赞/ 198 阅读

相关亿级流量架构怎么做资源隔离？

为什么要资源隔离常见的资源,例如磁盘、网络、CPU等等,都会存在竞争的问题,在构建分布式架构时,可以将原本连接在一起的组件、模块、资源拆分开来,以便达到最大的利用效率或性

男娘i/ 2022年08月28日 13:53/ 0 赞/ 240 阅读

相关 Hadoop YARN资源隔离技术

Hadoop YARN资源隔离技术 YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，它是一种限制性资源，它的量的大小直接决定应用程序的死活，因

柔情只为你懂/ 2022年08月06日 00:28/ 0 赞/ 203 阅读

相关 docker资源隔离学习

Limit a container‘s resources 默认情况下，一个容器没有资源限制，几乎可以使用宿主主机的所有资源。 docker提供了控制内存、cpu、blo

骑猪看日落/ 2022年03月26日 10:50/ 0 赞/ 327 阅读