Python导入IP数据至redis

旧城等待， 2022-07-18 05:59 71阅读 0赞

在实习中，CTO让我将IP库文件（CSV格式，其他格式类似）导入到redis中，我使用的是python+redis的pipeline，导入效率还不错，每秒大概能导入1000条数据

具体的代码如下：

\# coding:gbk

import redis

importredis\_import\_tools

import json

def num2ip(num):

ip = str(num & 0xff)

num >>= 8

ip = str(num & 0xff) + '.' + ip

num >>= 8

ip = str(num & 0xff) + '.' + ip

num >>= 8

ip = str(num & 0xff) + '.' + ip

return num, ip

\# 这儿是redis

client =redis.Redis(host='localhost', port=1286,password='c10659d7fa7d45595662c3255d1e0070')

pipeline\_redis =client.pipeline()

count = 0

\# 这儿写csv地址

withopen('IP2LOCATION-LITE-DB11.CSV', 'r') as f:

line = f.readline()

while line is not None and line != '':

\# print(line)

line = line.strip()

line = line.strip('"')

line = line.split('","')

ip2location =\{'id':int(count),'ipfrom': int(line\[0\]), 'ipto': int(line\[1\]), 'countrycode':line\[2\], 'countryname': line\[3\],

'regionname': line\[4\],'cityname': line\[5\], 'latitude': float(line\[6\]),

'longitude':float(line\[7\]), 'zipcode': line\[8\], 'timezone': line\[9\]\}

ip2location = json.dumps(ip2location)

\# 实例

pipeline\_redis.set('h:urn:ip2location:'+ line\[0\], ip2location)

ipstart = num2ip(int(line\[0\]))\[0\]

ipend = num2ip(int(line\[1\]))\[0\]

while ipstart <= ipend:

\# 这儿是索引，用ip地址的四段中的第一段做索引

pipeline\_redis.zadd('h:ids:ip:' +str((int(line\[0\]) >> 24)), line\[0\], int(line\[1\]))

ipstart += 1

count += 1

if not count % 1000:

pipeline\_redis.execute()

line = f.readline()

pipeline\_redis.execute()

发表评论取消回复

表情：

评论列表（有 0 条评论，71人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis批量导入文本数据

1. \ 查看导入的文本文件，里面是具体的Redis命令 2. \ cat 20180208.txt 3. hdel user....

淡淡的烟草味﹌/ 2024年04月18日 00:41/ 0 赞/ 50 阅读

相关利用 python 导入json格式数据至mysql

可以使用Python模块pymysql来实现，具体步骤如下： 1. 导入pymysql模块： import pymysql 2. 创建连接对象：conn = pymysq

痛定思痛。/ 2024年03月25日 15:38/ 0 赞/ 44 阅读

相关 c#如何将数据缓存至Redis

环境准备首先肯定是需要安装redis啦！这是我跑在docker的redis，和安装在本地的是一样的效果 ![6a680f2271634648956c244688d5

布满荆棘的人生/ 2024年03月16日 13:36/ 0 赞/ 68 阅读

相关 Redis数据导入和导出

1、安装2.5版本ruby \卸载ruby $ yum remove ruby \下载 $ wget https://cache.ruby-lang.org/pub/r

曾经终败给现在/ 2023年06月27日 03:45/ 0 赞/ 37 阅读

相关导入csv文件至mongodb

1.navicat导出筛选后的结果为json文件 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_te

╰半橙微兮°/ 2023年03月01日 12:57/ 0 赞/ 340 阅读

相关 redis数据导入导出

一、准备环境 1. 安装ruby rubygems $ yum install ruby rubygems ruby-devel 2. 更

- 日理万妓/ 2022年09月26日 15:50/ 0 赞/ 221 阅读

相关 Python导入IP数据至redis

在实习中，CTO让我将IP库文件（CSV格式，其他格式类似）导入到redis中，我使用的是python+redis的pipeline，导入效率还不错，每秒大概能导入1000条数

旧城等待，/ 2022年07月18日 05:59/ 0 赞/ 72 阅读

相关 Redis数据导出导入－redis-dump and redis-load

按旧例，先说些别的。最近帮助公司做了一个投票活动，刚开始没在意写了写逻辑，不过局势瞬息万变，一下子说有几百万的并发（活动的参与者有三个一线歌星，明星）。听到这个顿时哭晕，熬了几

た入场券/ 2022年07月11日 07:48/ 0 赞/ 261 阅读

相关导入MySQL数据到redis

总体思路：导出MySQL数据，导入到redis 但是遇到了一些问题，如何导出，导出的格式有什么要求，如何导入 1、MySQL导出，由于redis支持的文件中的格式比较特殊，

╰半橙微兮°/ 2022年02月21日 05:30/ 0 赞/ 272 阅读

相关 GridView导入至EXCEL

ViewState\["OutPut"\] = "";//定义一个变量用于存储查询条件 /// <summary> /// 新建一个新的G

柔光的暖阳◎/ 2021年11月10日 02:00/ 0 赞/ 531 阅读