Redis系列(十八)、Redis中的管道pipeline操作(Python)

桃扇骨 2023-02-18 03:12 23阅读 0赞

Redis默认每次执行请求都会创建和断开一次连接池的操作，如果想执行多条命令的时候会在这件事情上消耗过多的时间，因此我们可以使用Redis的管道来一次性发送多条命令并返回多个结果，节约发送命令和创建连接的时间提升效率。

--------------------

**目录**

介绍

使用

对比Lua脚本

尾巴

--------------------

**Redis6系列文章**：

[Redis系列(一)、CentOS7下安装Redis6.0.3稳定版][Redis_CentOS7_Redis6.0.3]

[Redis系列(二)、数据类型之字符串String][Redis_String]

[Redis系列(三)、数据类型之哈希Hash][Redis_Hash]

[Redis系列(四)、数据类型之列表List][Redis_List]

[Redis系列(五)、数据类型之无序集合Set][Redis_Set]

[Redis系列(六)、数据类型之有序集合ZSet(sorted\_set)][Redis_ZSet_sorted_set]

[Redis系列(七)、常用key命令][Redis_key]

[Redis系列(八)、常用服务器命令][Redis]

[Redis系列(九)、Redis的“事务”及Lua脚本操作][Redis_Redis_Lua]

[Redis系列(十)、详解Redis持久化方式AOF、RDB以及混合持久化][Redis_Redis_AOF_RDB]

[Redis系列(十一)、Redis6新特性之ACL安全策略（用户权限管理）][Redis_Redis6_ACL]

[Redis系列(十二)、Redis6集群搭建及原理(主从、哨兵、集群)][Redis_Redis6]

[Redis系列(十三)、pub/sub发布与订阅（对比List和Kafka）][Redis_pub_sub_List_Kafka]

[Redis系列(十四)、Redis6新特性之RESP3与客户端缓存(Client side caching)][Redis_Redis6_RESP3_Client side caching]

[Redis系列(十五)、Redis6新特性之集群代理(Cluster Proxy)][Redis_Redis6_Cluster Proxy]

[Redis系列(十六)、Redis6新特性之IO多线程][Redis_Redis6_IO]

[Redis系列(十七)、Redis中的内存淘汰策略和过期删除策略][Redis_Redis]

--------------------

# 介绍 #

在前面我们介绍过[Redis的事务和lua脚本操作][Redis_Redis_Lua]，事实上在各语言版本的Redis中都有管道(Pipeline)的功能，本篇以python版作为示例，当我们使用python给redis发送命令时会经历下面的步骤：

1.  客户端发送请求，获取socket，阻塞等待返回；
2.  服务端执行命令并将结果返回给客户端；

而当执行的命令较多时，这样的一来一回的网络传输所消耗的时间被称为**RTT(Round Trip Time)**，显而易见，如果可以将这些命令作为一个请求一次性发送给服务端，并一次性将结果返回客户端，会节约很多网络传输的消耗，可以大大提升响应时间。

官网：[https://redis.io/topics/pipelining][https_redis.io_topics_pipelining]

**逐个命令请求：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70][]

**管道请求：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1][]

# 使用 #

管道的使用很简单，python版代码如下，在管道中可以选择是否开启事务，默认是开启的，这里的事务与Redis的事务一样为弱事务性不是真正的事务：

import redis
    
    #创建连接池获取连接
    pool = redis.ConnectionPool(host='wykd', port=6379,password='123456', decode_responses=True)
    rp1 = redis.Redis(connection_pool=pool)
    
    #创建管道，可以选择开启或关闭事务，这里的事务与Redis事务一样是弱事务型
    pipe = rp1.pipeline(transaction=True)
    #在管道中添加命令
    pipe.set('new','123')
    pipe.set('name', 'wyk2')
    pipe.set('company', 'csdn2')
    pipe.hincrby('hage','wyk',1)
    
    #这个命令会报错，因为hage为hash类型不能使用get命令，此时无论开启关闭事务，管道中的其他命令也依然会正常执行
    #pipe.get('hage') 
    
    #也可以用下面的语法将多个命令拼接到一起
    # pipe.set('name', 'wyk').set('company', 'csdn').hset('hage', 'wyk',28).hincrby('hage','wyk',1)
    
    #执行pipeline里的脚本
    pipe.execute()

当管道中有命令报错时，无论管道是否开启事务都不会影响其他脚本的执行：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 2][]

在管道中可以一次性获取多个命令的返回值，以列表形式：

pipe.get('name').get('company').hget('hage', 'wyk')
    res = pipe.execute()
    print(res)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 3][]

# 对比Lua脚本 #

在前面的文章中提到过，Redis的Script会当成一个命令，具有**原子性**，在执行Script的时候不会被其他的命令插入，因此更适合于处理事务；而管道虽然也会将多个命令一次性传输到服务端，但在服务端执行的时候仍然是多个命令，如在执行CMD1的时候，外部另一个客户端提交了CMD9，会先执行完CMD9再执行管道中的CMD2，因此事实上管道是不具有原子性的。

就场景上来说，正因为Lua脚本会被视为一个命令去执行，因为Redis是单线程执行命令的，所以我们不能在lua脚本里写过于复杂的逻辑，否则会造成阻塞，因此lua脚本适合于相对简单的事务场景。

而管道因为不具有原子性，因此管道不适合处理事务，但管道可以减少多个命令执行时的网络消耗，可以提高程序的响应速度，因此管道更适合于管道中的命令互相没有关系，不需要有事务的原子性，且需要提高程序响应速度的场景。

# 尾巴 #

管道可以提升我们程序中的响应时间，同时我们不能完全依赖于它的"事务"机制，只需要把管道当做"批处理"工具即可，在某些场合下，更需要结合管道和lua脚本一起使用。

希望本文对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

[Redis_CentOS7_Redis6.0.3]: https://blog.csdn.net/wsdc0521/article/details/106316972
[Redis_String]: https://blog.csdn.net/wsdc0521/article/details/106654850
[Redis_Hash]: https://blog.csdn.net/wsdc0521/article/details/106659882
[Redis_List]: https://blog.csdn.net/wsdc0521/article/details/106665943
[Redis_Set]: https://blog.csdn.net/wsdc0521/article/details/106676670
[Redis_ZSet_sorted_set]: https://blog.csdn.net/wsdc0521/article/details/106689570
[Redis_key]: https://blog.csdn.net/wsdc0521/article/details/106758301
[Redis]: https://blog.csdn.net/wsdc0521/article/details/106759219
[Redis_Redis_Lua]: https://blog.csdn.net/wsdc0521/article/details/106765338
[Redis_Redis_AOF_RDB]: https://blog.csdn.net/wsdc0521/article/details/106765809
[Redis_Redis6_ACL]: https://blog.csdn.net/wsdc0521/article/details/106765856
[Redis_Redis6]: https://blog.csdn.net/wsdc0521/article/details/106765909
[Redis_pub_sub_List_Kafka]: https://blog.csdn.net/wsdc0521/article/details/106765933
[Redis_Redis6_RESP3_Client side caching]: https://blog.csdn.net/wsdc0521/article/details/106766096
[Redis_Redis6_Cluster Proxy]: https://blog.csdn.net/wsdc0521/article/details/107034173
[Redis_Redis6_IO]: https://blog.csdn.net/wsdc0521/article/details/106766587
[Redis_Redis]: https://blog.csdn.net/wsdc0521/article/details/106997623
[https_redis.io_topics_pipelining]: https://redis.io/topics/pipelining
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200709174508507.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200709174523503.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020070918002892.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200709180303175.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx,size_16,color_FFFFFF,t_70