（转）如何使用redis缓存加索引处理数据库百万级并发

朴灿烈づ我的快乐病毒、 2022-10-01 12:57 142阅读 0赞

# [（转）][Link 1] #

# [总结：如何使用redis缓存加索引处理数据库百万级并发][Link 1] #

前言：事先说明：在实际应用中这种做法设计需要各位读者自己设计，本文只提供一种思想。准备工作：安装后本地数redis服务器，使用mysql数据库，事先插入1000万条数据，可以参考我之前的文章插入数据，这里不再细说。我大概的做法是这样的，编码使用多线程访问我的数据库，在访问数据库前先访问redis缓存没有的话在去查询数据库，需要注意的是redis最大连接数最好设置为300，不然会出现很多报错。

贴一下代码吧

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 </td> 
 <td> <code>package</code>&nbsp;<code>select;</code> &nbsp; <code>import</code>&nbsp;<code>java.sql.Connection;</code> <code>import</code>&nbsp;<code>java.sql.DriverManager;</code> <code>import</code>&nbsp;<code>java.sql.ResultSet;</code> <code>import</code>&nbsp;<code>java.sql.SQLException;</code> <code>import</code>&nbsp;<code>java.sql.Statement;</code> &nbsp; <code>import</code>&nbsp;<code>redis.clients.jedis.Jedis;</code> <code>import</code>&nbsp;<code>redis.clients.jedis.JedisPool;</code> &nbsp; <code>public</code>&nbsp;<code>class</code>&nbsp;<code>ThreadToMysql&nbsp;</code><code>extends</code>&nbsp;<code>Thread { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code>&nbsp;<code>String teacherName;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code>&nbsp;<code>String password;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code>&nbsp;<code>JedisPool pool;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code>&nbsp;<code>ThreadToMysql(String teacherName, String password,JedisPool pool) { </code><code>//构造函数传入要查询登录的老师姓名和密码</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>this</code><code>.teacherName=teacherName;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>this</code><code>.password=password;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>this</code><code>.pool=pool;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code>&nbsp;<code>void</code>&nbsp;<code>run() { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Jedis jedis = pool.getResource();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Long startTime=System.currentTimeMillis();</code><code>//开始时间</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>(jedis.get(teacherName)!=</code><code>null</code><code>) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Long entTime=System.currentTimeMillis();</code><code>//开始时间</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(currentThread().getName()+</code><code>" 缓存得到的结果: "</code><code>+jedis.get(teacherName)+</code><code>" 开始时间:"</code><code>+startTime+</code><code>"&nbsp; 结束时间:"</code><code>+entTime+</code><code>"&nbsp; 用时:"</code>&nbsp;<code>+(entTime-startTime)+</code><code>"ms"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pool.returnResource(jedis);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"释放该redis连接"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}&nbsp;</code><code>else</code>&nbsp;<code>{ </code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String url =&nbsp;</code><code>"jdbc:mysql://127.0.0.1/teacher"</code><code>;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String name =&nbsp;</code><code>"com.mysql.jdbc.Driver"</code><code>;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String user =&nbsp;</code><code>"root"</code><code>;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String password =&nbsp;</code><code>"123456"</code><code>;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Connection conn =&nbsp;</code><code>null</code><code>;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Class.forName(name);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>conn = DriverManager.getConnection(url, user, password);</code><code>//获取连接&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>conn.setAutoCommit(</code><code>false</code><code>);</code><code>//关闭自动提交，不然conn.commit()运行到这句会报错</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}&nbsp;</code><code>catch</code>&nbsp;<code>(ClassNotFoundException e1) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>e1.printStackTrace();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}&nbsp;</code><code>catch</code>&nbsp;<code>(SQLException e) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>e.printStackTrace();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>(conn!=</code><code>null</code><code>) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String sql=</code><code>"select t_name from test_teacher where t_name='"</code><code>+teacherName+</code><code>"' and t_password='"</code><code>+password+</code><code>"' "</code><code>;</code><code>//SQL语句</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>String t_name=</code><code>null</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Statement stmt=conn.createStatement();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ResultSet rs=stmt.executeQuery(sql);</code><code>//获取结果集</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>(rs.next()) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>t_name=rs.getString(</code><code>"t_name"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>jedis.set(teacherName, t_name);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"释放该连接"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>conn.commit();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>stmt.close();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>conn.close();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}&nbsp;</code><code>catch</code>&nbsp;<code>(SQLException e) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>e.printStackTrace();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code><code>finally</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pool.returnResource(jedis);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"释放该连接"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Long end=System.currentTimeMillis();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(currentThread().getName()+</code><code>"&nbsp; 数据库得到的查询结果:"</code><code>+t_name+</code><code>"&nbsp;&nbsp; 开始时间:"</code><code>+startTime+</code><code>"&nbsp; 结束时间:"</code><code>+end+</code><code>"&nbsp; 用时:"</code><code>+(end-startTime)+</code><code>"ms"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}&nbsp;</code><code>else</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(currentThread().getName()+</code><code>"数据库连接失败:"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

我的数据库表数据是这样的。可以看到我的t\_name是1-10000000，密码固定123456.利用循环创建线程很好做传入循环的次数作为查询的t\_name就行了

![947974-20160818101156671-1780779496.png][]

**采用redis****缓存替换加索引的方案**

**1.****在200****并发访问下：**

第一次访问结果：由于第一次访问缓存不存在该数据，速度很慢

![947974-20160818095213562-1512526468.png][]

最慢90多秒

运行第二次访问后(redis数据库已存在数据)的结果：

![947974-20160818095626781-625142669.png][]

最慢700多毫秒

**2.****当我尝试1000****线程并发访问时redis****直接挂掉，原因在于reids****缓存并没有要查找的数据,****就从数据库查找，1000****个线程同时并发访问数据库等待时间太长了，造成redis****连接等待超时(****就算把redis****的超时等待时间设置为100****分钟也没用，会报redis****连接被拒绝的错误)**

![947974-20160818095718578-1166056613.png][]

**3.当我利用循环事先把100万条数据插入redis缓存服务器后，在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果，效率出奇的快，而且没有报任何错**

![947974-20160818095841562-1406529275.png][]

**4.在3的条件下我把并发线程提升到100万个时，测试在百万并发条件下查询性能，发现完全没有压力，每个线程也是几毫秒就能查到结果，这个时候限制我速度的就是电脑CPU了。我的测试电脑是4核的，处理100万个线程起来比较慢，下面是截图，运行到50多万个线程的时候我就停止了运行**

![947974-20160818095928218-768268730.png][]

好了，以上都是数据库查询的字段没有加索引直接利用redis缓存查找的

而且有个弊端，百万级的并发访问需要事先把数据放到缓存中，在实际中并不科学（因为并不知道那些是热点数据），下面来看看如何使用索引加缓存的效果

1.给t\_name和t\_password字段加组合索引

![947974-20160818102524968-764727158.png][]

我们来看看在有索引且redis缓存事先没有数据的时候，创建100万个线程并发访问的结果

![947974-20160818102443921-1449523170.png][]

没问题，这样就完成了百万级别下的并发访问，但是这样我的程序创建线程很慢，因为我的电脑4核CPU的(但是要创建100万个线程），这个时候就是硬件设备的性能了，在设备硬件性能足够的条件下是没问题的

以下是我的总结:

1.我的优化方案中只有两种，一种是给查询的字段加组合索引。另一种是给在用户和数据库中增加缓存

2.添加索引方案：面对1~2千的并发是没有压力的，在往上则限制的瓶颈就是数据库最大连接数了，在上面中我用show global status like 'Max\_used\_connections’查看数据库可以知道数据库最大响应连接数是5700多，超过这个数tomcat直接报错连接被拒绝或者连接已经失效

3.缓存方案：在上面的测试可以知道，要是我们事先把数据库的千万条数据同步到redis缓存中，瓶颈就是我们的设备硬件性能了，假如我们的主机有几百个核心CPU，就算是千万级的并发下也可以完全无压力，带个用户很好的。

4.索引+缓存方案：缓存事先没有要查询的数据，在一万的并发下测试数据库毫无压力，程序先通过查缓存再查数据库大大减轻了数据库的压力，即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库依然没压力，但是redis服务器设置最大连接数300去处理10万的线程，4核CPU处理不过来，很多redis连接不了。我用show global status like 'Max\_used\_connections'查看数据库发现最大响应连接数是388，这么低所以数据库是不会挂掉的。

5.使用场景：a.几百或者2000以下并发直接加上组合索引就可以了。b.不想加索引又高并发的情况下可以先事先把数据放到缓存中，硬件设备支持下可解决百万级并发。c.加索引且缓存事先没有数据，在硬件设备支持下可解决百万级并发问题。d.不加索引且缓存事先没有数据，不可取，要80多秒才能得到结果，用户体验极差。

6.原理：其实使用了redis的话为什么数据库不会崩溃是因为redis最大连接数为300，这样数据库最大同时连接数也是300多，所以不会挂掉，至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)。

最后说明：本文不代表实际应用开发场景，更多的是提供一种思想，一种解决方案，如有错误，请指正，谢谢

本文源码：

[http://download.csdn.net/detail/qq\_32780741/9606370][http_download.csdn.net_detail_qq_32780741_9606370]

本代码需要的jar包下载地址：

[http://download.csdn.net/detail/qq\_32780741/9606380][http_download.csdn.net_detail_qq_32780741_9606380]

[Link 1]: https://www.cnblogs.com/fanwencong/p/5782860.html
[947974-20160818101156671-1780779496.png]: /images/20220118/16eead8d3dd548b697ea5e3466cf1a27.png
[947974-20160818095213562-1512526468.png]: /images/20220118/91dcc72aaa584cc192ec3afc9a57398f.png
[947974-20160818095626781-625142669.png]: /images/20220118/8e2924d87a404c66b86c593f137533e6.png
[947974-20160818095718578-1166056613.png]: /images/20220118/e19be0cb5270480aa9c845709fa734be.png
[947974-20160818095841562-1406529275.png]: /images/20220118/fc8fad1fc39e4f96bd6d1026ce3f00bd.png
[947974-20160818095928218-768268730.png]: /images/20220118/ec3946a612c24e56943337eb6a1ef142.png
[947974-20160818102524968-764727158.png]: /images/20220118/6897ae0df31a48519fb7887bd493926f.png
[947974-20160818102443921-1449523170.png]: /images/20220118/6dea68d5275c4c3d915d2b4f27b0059f.png
[http_download.csdn.net_detail_qq_32780741_9606370]: http://download.csdn.net/detail/qq_32780741/9606370
[http_download.csdn.net_detail_qq_32780741_9606380]: http://download.csdn.net/detail/qq_32780741/9606380