大规模Redis集群解决方案

た入场券 2022-07-15 09:40 296阅读 0赞

1.为什么要使用Redis集群

一般的，为了提升网站及其他网络应用的响应能力，会将经常访问的数据进行缓存起来，而不是直接从后端数据库里面进行读取。而目前市场上，Redis则是Cache的一个很好的解决方案，使用和部署很简单，性能也非常不错。但由于它是单线程单实例的服务，在数据量达到很大时处理上就会显得力不从心。基本上一个大型网站应用，经常访问的一些数据是很大的，几十G甚至百G都是很正常的，在这种场景下，单个Redis实例已经无法处理这种数据量了。所以Redis集群的解决方案的由此而生，目前市场上主要使用的有两种，一个是Redis官方的 Redis Cluster; 另外一个是 twtter 的twemproxy。第一个据笔者所知，用的貌似不是很多，大部分还是用的 twemproxy。twemproxy 项目代码已经开源了，代码可以在github上找到。它是一个单线程服务，能管理多个Redis或者Memcache实例，笔者研究过也测试过它的功能和性能，发现单线程始终存在性能瓶颈。于是我们开发组以高并发多线程为目标，实现了一款基于Redis协议的中间件，能够实现集群的搭建和管理，并且具备大部分常用功能外也具备可观的性能，它的名字叫 OneCache。目前已经在github上进行了开源。目前已经有不少用户上线使用，我们认定它是一个比较好Redis集群的解决方案。

2. OneCache 功能点

1.高并发性

测试时使用了多个redis-benchmark对onecache进行测试，每秒并发量可达40w+/每秒（因机器性能而异）

支持前后端pipeline处理，每秒并发量可达百万以上（前端采用Pipeline测试）

2.完整的Redis命令支持

支持大部分redis命令

自带内置命令。例如查看当前状态、所支持的命令等等

3.兼容twemproxy

原先使用twemproxy的应用现在可以迁移到onecache上

4.通过代理的方式减少缓存服务器的连接数

保持与Redis的长连接

连接可复用性

可设置代理与每个Redis的连接数目

5.RedisServerGroup模型

Group内可配置若干Master 和 Slave，支持不同的策略模式

每个Group可以动态配置散列范围、可以配置特定的KEY路由到该Group

自动分片到后端多个Redis实例上

使用散列方式将数据以Key的值进行散列化

可以控制后端实例的权重

6.详细的状态监控

实时代理运行状态

实时后端节点运行状态

实时客户端连接状态

TopKey统计

连接池状态查看

7.高可用性

可部署多个OneCache以防止单台主机故障，使用VIP方式实现

Group不可用时可以自动移除，采用一致性HASH算法调整HASH槽

3.软件安装与配置

1.下载软件。软件只有一个可执行文件 onecache。可以在http://www.onexsoft.com/下载，或者在github上下载源码自行编译。

2.启动软件。软件启动只依赖一个配置文件（XML格式）。命令格式： onecache \[cfg-file\] 。如果未指定配置文件路径名，默认会以当前目录下的onecache.xml做为配置，如果配置参数中有不正确的地方，软件将会报错，具体出错原因可以查看输出的日志信息。  
这是一个典型的配置文件格式  
<onecache port="8221" thread\_num="15" hash\_value\_max="80" daemonize="0" guard="0" log\_file="" password="" pid\_file="" hash=" fnv1a\_64" twemproxy\_mode="0" debug="0">  
      
      
      
      
      
      
      
  
  
<!—twemproxy\_mode 是否按twemproxy模式运行 注：只支持ketama方式，groupname对应servername-->  
<!—debug 是否debug模式运行1=YES 0=NO debug模式将会得到更详细的运行日志，注：打印日志可能会很多，建议生产线上不要开启-->  
  
    <vip if\_alias\_name="eth0:0" vip\_address="172.30.12.8" enable="0"></vip>  
      
  
    <top\_key enable=" 0"></top\_key>  
      
  
    <group\_option backend\_retry\_interval="3" backend\_retry\_limit="10" auto\_eject\_group="1" group\_retry\_time="30" eject\_after\_restore="1"></group\_option>  
      
      
      
      
      
  
    <group name="group1" hash\_min="0" hash\_max="19" policy="master\_only">  
      
        <host host\_name="host1" ip="172.30.12.12" port="6379" master="1" password="" connect\_num="50"></host>  
        <host host\_name="host1" ip="172.30.12.12" port="6380" master="0" password="" connect\_num="50"></host>  
          
          
          
          
          
<!—connect\_num 表示连接到redis服务器的连接池大小-->  
    </group>  
    <group name="group2" hash\_min="20" hash\_max="39">  
        <host host\_name="host1" ip="172.30.12.12" port="6381" master="1"></host>  
    </group>  
    <group name="group3" hash\_min="40" hash\_max="59">  
        <host host\_name="host1" ip="172.30.12.12" port="6382" master="1"></host>  
    </group>  
    <group name="group4" hash\_min="60" hash\_max="79">  
        <host host\_name="host1" ip="172.30.12.12" port="6383" master="1"></host>  
    </group>  
  
  
      
    <hash\_mapping>  
        <hash value="0" group\_name="group1"></hash>  
        <hash value="1" group\_name="group1"></hash>  
    </hash\_mapping>  
      
    <key\_mapping>  
        <key key\_name="key1" group\_name="group1"></key>  
        <key key\_name="key2" group\_name="group2"></key>  
    </key\_mapping>  
</onecache>