redis JAVA hmset_Java使用Pipeline对Redis批量读写（hmset&hgetall）

浅浅的花香味﹌ 2021-09-07 06:13 284阅读 0赞

一般情况下，Redis Client端发出一个请求后，通常会阻塞并等待Redis服务端处理，Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。

这有点类似于HBase的Scan，通常是Client端获取每一条记录都是一次RPC调用服务端。

在Redis中，有没有类似HBase Scanner Caching的东西呢，一次请求，返回多条记录呢？

有，这就是Pipline。官方介绍 http://redis.io/topics/pipelining

通过pipeline方式当有大批量的操作时候，我们可以节省很多原来浪费在网络延迟的时间，需要注意到是用pipeline方式打包命令发送，redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多，缓存消耗内存也越多。所以并不是打包的命令越多越好。

使用Pipeline在对Redis批量读写的时候，性能上有非常大的提升。

使用Java测试了一下：

package com.lxw1234.redis;

import java.util.HashMap;

import java.util.Map;

import java.util.Set;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;

public class Test \{

public static void main(String\[\] args) throws Exception \{

Jedis redis = new Jedis("127.0.0.1", 6379, 400000);

Map data = new HashMap();

redis.select(8);

redis.flushDB();

//hmset

long start = System.currentTimeMillis();

//直接hmset

for (int i=0;i<10000;i++) \{

data.clear();

data.put("k\_" + i, "v\_" + i);

redis.hmset("key\_" + i, data);

long end = System.currentTimeMillis();

System.out.println("dbsize:\[" + redis.dbSize() + "\] .. ");

System.out.println("hmset without pipeline used \[" + (end - start) / 1000 + "\] seconds ..");

redis.select(8);

redis.flushDB();

//使用pipeline hmset

Pipeline p = redis.pipelined();

start = System.currentTimeMillis();

for (int i=0;i<10000;i++) \{

data.clear();

data.put("k\_" + i, "v\_" + i);

p.hmset("key\_" + i, data);

p.sync();

end = System.currentTimeMillis();

System.out.println("dbsize:\[" + redis.dbSize() + "\] .. ");

System.out.println("hmset with pipeline used \[" + (end - start) / 1000 + "\] seconds ..");

//hmget

Set keys = redis.keys("\*");

//直接使用Jedis hgetall

start = System.currentTimeMillis();

Map> result = new HashMap>();

for(String key : keys) \{

result.put(key, redis.hgetAll(key));

end = System.currentTimeMillis();

System.out.println("result size:\[" + result.size() + "\] ..");

System.out.println("hgetAll without pipeline used \[" + (end - start) / 1000 + "\] seconds ..");

//使用pipeline hgetall

Map>> responses = new HashMap>>(keys.size());

result.clear();

start = System.currentTimeMillis();

for(String key : keys) \{

responses.put(key, p.hgetAll(key));

p.sync();

for(String k : responses.keySet()) \{

result.put(k, responses.get(k).get());

end = System.currentTimeMillis();

System.out.println("result size:\[" + result.size() + "\] ..");

System.out.println("hgetAll with pipeline used \[" + (end - start) / 1000 + "\] seconds ..");

redis.disconnect();

测试结果如下：

dbsize:\[10000\] ..

hmset without pipeline used \[243\] seconds ..

dbsize:\[10000\] ..

hmset with pipeline used \[0\] seconds ..

result size:\[10000\] ..

hgetAll without pipeline used \[243\] seconds ..

result size:\[10000\] ..

hgetAll with pipeline used \[0\] seconds ..

使用pipeline来批量读写10000条记录，就是小菜一碟，秒完。

如果觉得本博客对您有帮助，请 赞助作者 。

redis JAVA hmset_Java使用Pipeline对Redis批量读写（hmset&hgetall）

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 redis之批量操作 pipeline重写

相关 python使用pipeline批量读写redis

相关 Redis中的批量操作Pipeline

相关 java 使用pipeline对jedisPool进行批量读

相关 python使用pipeline批量读写redis

相关使用redis的管道 pipeline快速读写大量list数据

相关 redis cluster使用pipeline

相关 Redis管道Pipeline使用

相关 redis基础简介（六）- jedis使用管道（pipeline）对redis进行读写（使用hmset、hgetall测试）

相关 redis JAVA hmset_Java使用Pipeline对Redis批量读写（hmset&hgetall）