在CentOS 6.2上安装 MemcacheQ 最新版

今天药忘吃喽~ 2022-08-13 16:36 191阅读 0赞

本篇文章是对linux下安装memcacheq(mcq)全过程笔记进行了详细的分析介绍，需要的朋友参考下  
memcacheQ是一个单纯的分布式消息队列服务。  
一，MEMCACHEQ的应用背景  
Web应用中为什  
么会需要消息队列？主要原因是由于在高并发环境下，由于来不及同步处理，请求往往会发生堵塞，比如说，大量的insert，update之类的请求同时到达mysql，直接导致无数的行锁表锁，甚至最后请求会堆积过多，从而触发too manyconnections错误。通过使用消息队列，我们可以异步处理请求，从而缓解系统的压力。在Web2.0的时代，高并发的情况越来越常见，从而使消息队列有成为居家必备的趋势，相应的也涌现出了很多实现方案，像Twitter以前就使用RabbitMQ实现消息队列服务，现在又转而使用Kestrel来实现消息队列服务，此外还有很多其他的选择，比如说：ActiveMQ，ZeroMQ等。  
  
上述消息队列的软件中，大多为了实现AMQP，STOMP，XMPP之类的协议，变得极其重量级，但在很多Web应用中的实际情况是：我们只是想找到一个缓解高并发请求的解决方案，不需要杂七杂八的功能，一个轻量级的消息队列实现方式才是我们真正需要的。  
二，MEMCACHEQ的特性  
1 简单易用  
2 处理速度快  
3 多条队列  
4 并发性能好  
5 与memcache的协议兼容。这就意味着只要装了memcache的extension就可以了，不需要额外的插件。  
三，安装  
MEMCACHEQ依赖于libevent和BerkleyDB。  
BerkleyDB用于持久化存储队列的数据。 这样在MEMCACHEQ崩溃或者服务器挂掉的时候，  
不至于造成数据的丢失。这一点很重要，很重要。  
它的安装依赖于BerkeleyDB 和 libevent，所以要先安装这BerkeleyDB和libevent：  
其中libevent如果你安装过memcached就已经安装了，如果不确定，就检查一下吧  
1. 先检查libevent, libevent-devel是否已经安装： rpm -qa|grep libevent 输出中必须包含libevent, libevent-deve, 如果缺失，使用以下命令安装：  
yum install libevent

yum install libevent-devel  
注意事项：libevent, libevent-devel优先使用yum安装源，光盘镜像中的rpm包安装，这样稳定性和兼容性可得到保证，网上流传的使用源码安装libevent的方法会有问题，因为很可能系统已经安装libevent, 再使用源码安装， 必然导致冲突，造成意外问题，所以一定要使用上述命令检查系统是否已经安装相应的库

**在CentOS** **6.2上安装 MemcacheQ 最新版**

1.      安装 yum install gcc cc make libevent libevent-devel

2.      安装Berkeley DB

下载：[http://www.oracle.com/technetwork/products/berkeleydb/downloads/index.html][http_www.oracle.com_technetwork_products_berkeleydb_downloads_index.html]

\# tar xvzf db-6.0.20.tar.gz

\# cd db-6.0.20/

\# cd build\_unix/

\# ../dist/configure

\# make

\# make install

3.      把libevent动态库加入自动加载中

\# vi /etc/ld.so.conf

在加最后加入 /usr/local/BerkeleyDB.6.0/lib，然后运行命令

\# ldconfig

4.      安装MemcacheQ

下载：[http://memcachedb.org/memcacheq/][http_memcachedb.org_memcacheq]

\# tar xvzf memcacheq-0.2.0.tar.gz

\# cd memcacheq-0.2.0

打开configure文件，搜索到 bdbdir="/usr/local/…4.7… 把4.7改成 6.0

\#./configure --enable-threads

\# make

\# make install

5.      启动

memcacheq -d -r -u root -p21201 -H /data/memcacheq -N -v -L 1024 -B 1024 > /data/mq\_error.log 2>&1  
这里不推荐使用root用户，有些帖子里说不可以，我这里测试是可以的，不过可能会不安全。  
1 下面是启动时候的参数  
使用memcacheq -h 的命令来查看命令行选项  
2 这个是正确的启动memcacheq：memcacheq -d -uroot -r -p21201 -H /home/wwwroot/mcq -N -R -v -L 1024 -B 1024 > /home/wwwlogs/mq\_error.log 2 > &1  
3 这个不知道为什么就不行/usr/local/memcacheq/bin/memcacheq -d -l 127.0.0.1 -A 8192 -H /data/memcacheq -B 65535 -N -R -u root  
\-p <num> TCP监听端口(default: 22201)  
 -U <num> UDP监听端口(default: 0, off)  
 -s <file> unix socket路径(不支持网络)  
 -a <mask> unix socket访问掩码(default 0700)  
 -l <ip\_addr> 监听网卡  
 -d 守护进程  
 -r 最大化核心文件限制  
 -u <username> 以用户身份运行(only when run as root)  
 -c <num> 最大并发连接数(default is 1024)  
 -v 详细输出 (print errors/warnings while in event loop)  
 -vv 更详细的输出 (also print client commands/reponses)  
 -i 打印许可证信息  
 -P <file> PID文件  
 -t <num> 线程数(default 4)  
 **--------------------BerkeleyDB Options-------------------------------**  
 -m <num> BerkeleyDB内存缓存大小, default is 64MB  
 -A <num> 底层页面大小, default is 4096, (512B ~ 64KB, power-of-two)  
 -H <dir> 数据库家目录, default is '/data1/memcacheq'  
 -L <num> 日志缓冲区大小, default is 32KB  
 -C <num> 多少秒checkpoint一次, 0 for disable, default is 5 minutes  
 -T <num> 多少秒memp\_trickle一次, 0 for disable, default is 30 seconds  
 -S <num> 多少秒queue stats dump一次, 0 for disable, default is 30 seconds  
 -e <num> 达到缓存百分之多少需要刷新, default is 60%  
 -E <num> 一个单一的DB文件有多少页, default is 16\*1024, 0 for disable  
 -B <num> 指定消息体的长度,单位字节, default is 1024  
 -D <num> 多少毫秒做一次死锁检测(deadlock detecting), 0 for disable, default is 100ms  
 -N 开启DB\_TXN\_NOSYNC获得巨大的性能改善, default is off  
 -R 自动删除不再需要的日志文件, default is off  
测试

**三、测试**  
1.telnet 10.218.31.121 22201  
2.stats  
2.stats queue  
3.set q4  0 0 5  
4 hello  
5 get q4  
6 stats queue  
7 delete q4  
如果set的时候补成功not\_STORED的话，检查一下你的启动命令吧，参数没设置好，如果你是新手，干翠多看几个帖子，多尝试启动命令，换换参数，就行了

**四，使用**  
使用以上命令启动mq后，（注意上面的-B参数表示messag的body长度不能超过1024 bytes），使用mq时只需要用到两个命令：set和get：  
set <queue name> <flags> 0 <message\_len>\\r\\n  
<put your message body here>\\r\\n  
STORED\\r\\n  
get <queue name>\\r\\n  
VALUE <queue name> <flags> <message\_len>\\r\\n  
<your message body will come here>\\r\\n  
END\\r\\n  
可以看到，和memcache协议基本一致，只是把key name换成queue name，而且在set的命令中，忽略了expire\_time的参数。毕竟mq的数据存储是存在berkeleyDB中，做了持久化存储，没有内存的过期时间。  
当使用set命令时，就向指定的消息队列中写入了一条新消息，也就是向BerkeleyDB中新insert了一条数据，当使用get命令时，就从 指定队列中取出一条新消息，也就是向BerkeleyDB中delete了一条数据。当使用stats查看一个指定队列时，可以看到这个队列一共接收了多 少消息，其中被取出了多少条。  
示例：

fengbo@onlinegame-10-121:~$ telnet 127.0.0.1 22202
    Trying 127.0.0.1…
    Connected to 127.0.0.1.
    Escape character is ‘^]'.
    set q4 0 0 5
    hello
    STORED
    set q4 0 0 5
    world
    STORED
    stats queue
    STAT q4 2/0
    END
    get q4
    VALUE q4 0 5
    hello
    END
    stats queue
    STAT q4 2/1
    END

上面执行了两次set的命令，使用stats queue查看时，可以看到q4的队列中共有消息2条，已取出0条；当使用get取出第一条后，再此使用stats queue查看，q4中消息有2条，其中已取出1条。  
PHP测试：

session_start();
    $memcache_obj = new Memcache;
    $memcache_obj->connect('127.0.0.1', 11212) or die ('error');
    memcache_set($memcache_obj, 'k',10, 0, 0);
    echo 'queue'.memcache_get($memcache_obj, 'k');
    memcache_close($memcache_obj);

注释：  
这个时候会出现这样的问题  
memcacheq: error while loading shared libraries: libdb-5.0.so: cannot open shared object file: No such file or directory  
解决办法：在/usr/lib 下建个 libdb-5.0.so 软链就OK啦  
ln -s /usr/local/BerkeleyDB.5.0/lib/libdb-5.0.so /usr/lib/

**五，关闭memcacheQ**  
使用ps命令查查memcacheQ的进程:ps -ef|grep wuf,然后直接将进程kill掉.

[http_www.oracle.com_technetwork_products_berkeleydb_downloads_index.html]: http://www.oracle.com/technetwork/products/berkeleydb/downloads/index.html
[http_memcachedb.org_memcacheq]: http://memcachedb.org/memcacheq/