Redis知识梳理(7) [ 漏斗限流 throttle ]

偏执的太偏执、 2022-02-03 13:25 457阅读 0赞

![img][]

漏洞的容量是有限的，如果将漏嘴堵住，然后一直往里面灌水，它就会变满，直至再也装不进去。  
如果将漏嘴放开，水就会往下流，流走一部分之后，就又可以继续往里面灌水。  
如果漏嘴流水的速率大于灌水的速率，那么漏斗永远都装不满。  
如果漏嘴流水速率小于灌水的速率，那么一旦漏斗满了，灌水就需要暂停并等待漏斗腾空。

所以，漏斗的剩余空间就代表着当前行为可以持续进行的数量，漏嘴的流水速率  
代表着系统允许该行为的最大频率。下面我们使用代码来描述单机漏斗算法。

# coding: utf8
    
            import time
            class Funnel(object):
            def __init__(self, capacity, leaking_rate): 
                self.capacity = capacity # 漏斗容量 
                self.leaking_rate = leaking_rate # 漏嘴流水速率 
                self.left_quota = capacity # 漏斗剩余空间 
                self.leaking_ts = time.time() # 上一次漏水时间
            def make_space(self):
                now_ts = time.time()
                delta_ts = now_ts - self.leaking_ts # 距离上一次漏水过去了多久 
                delta_quota = delta_ts * self.leaking_rate # 又可以腾出不少空间了 
                if delta_quota < 1: # 腾的空间太少，那就等下次吧
                    return
                self.left_quota += delta_quota # 增加剩余空间 
                self.leaking_ts = now_ts # 记录漏水时间
                if self.left_quota > self.capacity: # 剩余空间不得高于容量
                    self.left_quota = self.capacity
            def watering(self, quota):
                self.make_space()
                if self.left_quota >= quota: # 判断剩余空间是否足够
                    self.left_quota -= quota
                    return True
                return False
    
            funnels = {} # 所有的漏斗
    
            # capacity 漏斗容量
            # leaking_rate 漏嘴流水速率 quota/s 
            def is_action_allowed(user_id, action_key, capacity, leaking_rate): 
                key = '%s:%s' % (user_id, action_key)
                funnel = funnels.get(key)
                if not funnel:
                    funnel = Funnel(capacity, leaking_rate)
                    funnels[key] = funnel return funnel.watering(1)
                    
            for i in range(20):
                print is_action_allowed('laoqian', 'reply', 15, 0.5)

我们观察 Funnel 对象的几个字段，我们发现可以将 Funnel 对象的内容按字段 存储到一个 hash 结构中，灌水的时候将 hash 结构的字段取出来进行逻辑运算 后，再将新值回填到 hash 结构中就完成了一次行为频度的检测。

但是有个问题，我们无法保证整个过程的原子性。从 hash 结构中取值，然后在 内存里运算，再回填到 hash 结构，这三个过程无法原子化，意味着需要进行适 当的加锁控制。而一旦加锁，就意味着会有加锁失败，加锁失败就需要选择重试 或者放弃。

如果重试的话，就会导致性能下降。如果放弃的话，就会影响用户体验。同时， 代码的复杂度也跟着升高很多。这真是个艰难的选择，我们该如何解决这个问题 呢?Redis-Cell 救星来了!

# Redis-Cell #

Redis 4.0 提供了一个限流 Redis 模块，它叫 redis-cell。该模块也使用了漏斗 算法，并提供了原子的限流指令。

有了这个模块，限流问题就非常简单了。

该模块只有1条指令 cl.throttle ，它的参数和返回值都略显复杂，接下来让我 们来看看这个指令具体该如何使用。

![img][img 1]

上面这个指令的意思是允许「用户回复行为」的频率为每 60s 最多 30 次 (漏水速率)，漏斗的初始容量为 15，也就是说一开始可以连续回复 15 个帖子， 然后才开始受漏水速率的影响。

我们看到这个指令中漏水速率变成了 2 个参数， 替代了之前的单个浮点数。

用两个参数相除的结果来表达漏水速率相对单个浮点 数要更加直观一些。

在执行限流指令时，如果被拒绝了，就需要丢弃或重试。cl.throttle 指令考虑的 非常周到，