Redis消息通知系统的实现

悠悠 2022-08-05 07:29 203阅读 0赞

# Redis消息通知系统的实现 #

最近忙着用Redis实现一个消息通知系统，今天大概总结了一下技术细节，其中演示代码如果没有特殊说明，使用的都是[PhpRedis][]扩展来实现的。

## 内存 ##

比如要推送一条全局消息，如果真的给所有用户都推送一遍的话，那么会占用很大的内存，实际上不管粘性有多高的产品，活跃用户同全部用户比起来，都会小很多，所以如果只处理登录用户的话，那么至少在内存消耗上是相当划算的，至于未登录用户，可以推迟到用户下次登录时再处理，如果用户一直不登录，就一了百了了。

## 队列 ##

当大量用户同时登录的时候，如果全部都即时处理，那么很容易就崩溃了，此时可以使用一个队列来保存待处理的登录用户，如此一来顶多是反应慢点，但不会崩溃。

Redis的[LIST][]数据类型可以很自然的创建一个队列，代码如下：

<?php
    
    $redis = new Redis;
    $redis->connect('/tmp/redis.sock');
    
    $redis->lPush('usr', <USRID>);
    
    while ($usr = $redis->rPop('usr')) {
        var_dump($usr);
    }
    
    ?>

出于类似的原因，我们还需要一个队列来保存待处理的消息。当然也可以使用LIST来实现，但LIST只能按照插入的先后顺序实现类似FIFO或LIFO形式的队列，然而消息实际上是有优先级的：比如说个人消息优先级高，全局消息优先级低。此时可以使用[ZSET][]来实现，它里面分数的概念很自然的实现了优先级。

不过ZSET没有原生的POP操作，所以我们需要模拟实现，代码如下：

<?php
    
    class RedisClient extends Redis
    {
        const POSITION_FIRST = 0;
        const POSITION_LAST = -1;
    
        public function zPop($zset)
        {
            return $this->zsetPop($zset, self::POSITION_FIRST);
        }
    
        public function zRevPop($zset)
        {
            return $this->zsetPop($zset, self::POSITION_LAST);
        }
    
        private function zsetPop($zset, $position)
        {
            $this->watch($zset);
    
            $element = $this->zRange($zset, $position, $position);
    
            if (!isset($element[0])) {
                return false;
            }
    
            if ($this->multi()->zRem($zset, $element[0])->exec()) {
                return $element[0];
            }
    
            return $this->zsetPop($zset, $position);
        }
    }
    
    ?>

模拟实现了POP操作后，我们就可以使用ZSET实现队列了，代码如下：

<?php
    
    $redis = new RedisClient;
    $redis->connect('/tmp/redis.sock');
    
    $redis->zAdd('msg', <PRIORITY>, <MSGID>);
    
    while ($msg = $redis->zRevPop('msg')) {
        var_dump($msg);
    }
    
    ?>

## 推拉 ##

以前微博架构中推拉选择的问题已经被大家讨论过很多次了。实际上消息通知系统和微博差不多，也存在推拉选择的问题，同样答案也是类似的，那就是应该推拉结合。具体点说：在登陆用户获取消息的时候，就是一个拉消息的过程；在把消息发送给登陆用户的时候，就是一个推消息的过程。

## 速度 ##

假设要推送一百万条消息的话，那么最直白的实现就是不断的插入，代码如下：

<?php
    
    for ($msgid = 1; $msgid <= 1000000; $msgid++) {
        $redis->sAdd('usr:<USRID>:msg', $msgid);
    }
    
    ?>

说明：这里我使用了SET数据类型，当然你也可以视需求换成LIST或者ZSET。

Redis的速度是很快的，但是借助[PIPELINE][]，会更快，代码如下：

<?php
    
    for ($i = 1; $i <= 100; $i++) {
        $redis->multi(Redis::PIPELINE);
        for ($j = 1; $j <= 10000; $j++) {
            $msgid = ($i - 1) * 10000 + $j;
            $redis->sAdd('usr:<USRID>:msg', $msgid);
        }
        $redis->exec();
    }
    
    ?>

说明：所谓PIPELINE，就是省略了无谓的折返跑，把命令打包给服务端统一处理。

前后两段代码在我的测试里，使用PIPELINE的速度大概是不使用PIPELINE的十倍。

## 查询 ##

我们用Redis命令行来演示一下用户是如何查询消息的。

先插入三条消息，其<MSGID>分别是1，2，3：

redis> HMSET msg:1 title title1 content content1
    redis> HMSET msg:2 title title2 content content2
    redis> HMSET msg:3 title title3 content content3

再把这三条消息发送给某个用户，其<USRID>是123：

redis> SADD usr:123:msg 1
    redis> SADD usr:123:msg 2
    redis> SADD usr:123:msg 3

此时如果简单查询用户有哪些消息的话，无疑只能查到一些<MSGID>：

redis> SMEMBERS usr:123:msg
    1) "1"
    2) "2"
    3) "3"

如果还需要用程序根据<MSGID>再来一次查询无疑有点低效，好在Redis内置的[SORT][]命令可以达到事半功倍的效果，实际上它类似于SQL中的JOIN：

redis> SORT usr:123:msg GET msg:*->title
    1) "title1"
    2) "title2"
    3) "title3"
    redis> SORT usr:123:msg GET msg:*->content
    1) "content1"
    2) "content2"
    3) "content3"

SORT的缺点是它只能GET出字符串类型的数据，如果你想要多个数据，就要多次GET：

redis> SORT usr:123:msg GET msg:*->title GET msg:*->content
    1) "title1"
    2) "content1"
    3) "title2"
    4) "content2"
    5) "title3"
    6) "content3"

很多情况下这显得不够灵活，好在我们可以采用其他一些方法平衡一下利弊，比如说新加一个字段，冗余保存完整消息的序列化，接着只GET这个字段就OK了。

实际暴露查询接口的时候，不会使用PHP等程序来封装，因为那会成倍降低RPS，推荐使用[Webdis][]，它是一个Redis的Web代理，效率没得说。

…

最近[Tumblr][]发表了一篇类似的文章：[Staircar: Redis-powered notifications][Staircar_ Redis-powered notifications]，介绍了他们使用Redis实现消息通知系统的一些情况，有兴趣的不妨一起看看。

此条目由 [老王][Link 1]发表在 [Technical][]分类目录，并贴了 [Performance][]、 [Redis][]标签。将 [固定链接][Link 2]加入收藏夹。

## 《REDIS消息通知系统的实现》上有28条评论 ##

# 评论导航 #

[较新评论 →][Link 3]

1.  vboy在 [2012-03-0709:38:17][2012-03-0709_38_17] 说道：
    
    顶老王
    
    [回复 ↓][Link 4]
2.  轩脉刃在 [2012-03-0813:31:31][2012-03-0813_31_31] 说道：
    
    so good….
    
    [回复 ↓][Link 5]
3.  天下第七在 [2012-03-3011:26:10][2012-03-3011_26_10] 说道：
    
    顶，写的不错呀。
    
    [回复 ↓][Link 6]
4.  rey在 [2012-04-0114:06:48][2012-04-0114_06_48] 说道：
    
    3月没博文？
    
    [回复 ↓][Link 7]
    
     *  老王在 [2012-04-0121:25:37][2012-04-0121_25_37] 说道：
        
        整个三月都是在焦灼中度过的：一来工作繁忙；二来身体抱恙。
5.  老杨在 [2012-04-1218:04:56][2012-04-1218_04_56] 说道：
    
    实际暴露查询接口的时候，不会使用PHP等程序来封装，因为那会成倍降低RPS，这是一个结论，为什么会这样，博主能解决一下原因么？
    
    [回复 ↓][Link 8]
6.  老杨在 [2012-04-1218:30:46][2012-04-1218_30_46] 说道：
    
    博主能贡献一下源码么？我是一个redis初学者，希望能通过实例快速上手。
    
    [回复 ↓][Link 9]
    
     *  [mengkang][]在 [2014-05-0815:16:30][2014-05-0815_16_30] 说道：
        
        我也想看，不过，想必和weibo的框架的代码依耐性很强，给了也不一定能看懂，再者也不方便公开，反正就是看完博主这篇文章，还是晕乎的。对于菜鸟我来说。
7.  [海晓][Link 10]在 [2012-06-0817:37:29][2012-06-0817_37_29] 说道：
    
    从另一个角度来看,这是半推半拉模型?
    
    [回复 ↓][Link 11]
8.  绝影在 [2012-09-0701:17:13][2012-09-0701_17_13] 说道：
    
    不错，很实用
    
    [回复 ↓][Link 12]
9.  su在 [2012-10-2516:26:23][2012-10-2516_26_23] 说道：
    
    您好,请问上面内容跟消息通知有什么关系?  
    你指的是消息数据放入缓存,然后 Long polling 去查缓存么?
    
    [回复 ↓][Link 13]
10. [rhomobi][]在 [2012-11-2500:17:22][2012-11-2500_17_22] 说道：
    
    最近有个统计系统，并发写入的量大，考虑是否要用到队列呢。如果将数据直接写入redis，就没有必要搞队列了吧？除非写入redis慢，需要用个队列池子缓冲一下。能否指点一下？
    
    [回复 ↓][Link 14]
    
     *  [rhomobi][]在 [2012-11-2500:19:49][2012-11-2500_19_49] 说道：
        
        就像您文章中提到“当大量用户同时登录的时候，如果全部都即时处理，那么很容易就崩溃了，此时可以使用一个队列来保存待处理的登录用户，如此一来顶多是反应慢点，但不会崩溃。”
        
        加入数据库用的就是redis，还有没有必要再去搞个队列池子缓冲？
     *  老王在 [2012-11-2614:19:53][2012-11-2614_19_53] 说道：
        
        如果直接写入redis，一般来说，只要逻辑不复杂就可以直接操作，不用引入队列，我在文章中所说的登录操作之所以采用了队列，是因为一个用户登录后，涉及很多后续操作，逻辑相对复杂，所以采用队列缓冲一下。

[PhpRedis]: https://github.com/nicolasff/phpredis
[LIST]: http://www.redis.io/commands/#list
[ZSET]: http://www.redis.io/commands/#sorted_set
[PIPELINE]: http://redis.io/topics/pipelining
[SORT]: http://www.redis.io/commands/sort
[Webdis]: http://webd.is/
[Tumblr]: https://www.tumblr.com/
[Staircar_ Redis-powered notifications]: http://engineering.tumblr.com/post/7819252942/staircar-redis-powered-notifications
[Link 1]: http://huoding.com/author/laowang
[Technical]: http://huoding.com/category/technical
[Performance]: http://huoding.com/tag/performance
[Redis]: http://huoding.com/tag/redis
[Link 2]: http://huoding.com/2012/02/29/146
[Link 3]: http://huoding.com/2012/02/29/146/comment-page-2#comments
[2012-03-0709_38_17]: http://huoding.com/2012/02/29/146/comment-page-1#comment-1926
[Link 4]: http://huoding.com/2012/02/29/146?replytocom=1926#respond
[2012-03-0813_31_31]: http://huoding.com/2012/02/29/146/comment-page-1#comment-1931
[Link 5]: http://huoding.com/2012/02/29/146?replytocom=1931#respond
[2012-03-3011_26_10]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2077
[Link 6]: http://huoding.com/2012/02/29/146?replytocom=2077#respond
[2012-04-0114_06_48]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2094
[Link 7]: http://huoding.com/2012/02/29/146?replytocom=2094#respond
[2012-04-0121_25_37]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2097
[2012-04-1218_04_56]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2238
[Link 8]: http://huoding.com/2012/02/29/146?replytocom=2238#respond
[2012-04-1218_30_46]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2239
[Link 9]: http://huoding.com/2012/02/29/146?replytocom=2239#respond
[mengkang]: http://mengkang.net/
[2014-05-0815_16_30]: http://huoding.com/2012/02/29/146/comment-page-1#comment-78320
[Link 10]: http://qczx.us/
[2012-06-0817_37_29]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2555
[Link 11]: http://huoding.com/2012/02/29/146?replytocom=2555#respond
[2012-09-0701_17_13]: http://huoding.com/2012/02/29/146/comment-page-1#comment-2882
[Link 12]: http://huoding.com/2012/02/29/146?replytocom=2882#respond
[2012-10-2516_26_23]: http://huoding.com/2012/02/29/146/comment-page-1#comment-3311
[Link 13]: http://huoding.com/2012/02/29/146?replytocom=3311#respond
[rhomobi]: http://rhomobi.com/
[2012-11-2500_17_22]: http://huoding.com/2012/02/29/146/comment-page-1#comment-3861
[Link 14]: http://huoding.com/2012/02/29/146?replytocom=3861#respond
[2012-11-2500_19_49]: http://huoding.com/2012/02/29/146/comment-page-1#comment-3862
[2012-11-2614_19_53]: http://huoding.com/2012/02/29/146/comment-page-1#comment-3928