python读取mysql怎么不会内存溢出

浅浅的花香味﹌ 2022-05-08 06:48 169阅读 0赞

使用过java读取mysql大数据量的人应该都知道，如果查询时不开游标不设置一次性区大小的话，会一次性的把所有记录都拉取过来再进行后续操作，数据量一大就很容易出现OOM

如果用python去读取mysql也会遇到同样的问题

那么这么在python中来设置使用游标呢

也很简单

这里使用pymysql来举例子

普通创建mysql链接是这样的

  1. import pymysql
  3. db = pymysql.connect("localhost","user","password","dbname" )
  5. cursor = db.cursor()
  7. sql = "select * from xxx"
  8. try:
  9.    cursor.execute(sql)
  10.    results = cursor.fetchall()
  11.    for row in results:
  12.       xxx....
  13. except:
  14.    pass
  16. db.close()

想用游标来控制数据拉取的话，只需要稍加修改就可以

  1. import pymysql
  3. db = pymysql.connect("localhost","user","password","dbname",cursorclass=pymysql.cursors.SSCursor )
  5. cursor = db.cursor()
  7. sql = "select * from xxx"
  8. try:
  9.    cursor.execute(sql)
  10.    result = cursor.fetchone()
  11.    while True:
  12.       if result:
  13.          xxx....
  14.          result = cursor.fetchone()
  15.       else:
  16.          break
  17. except:
  18.    pass
  20. db.close()

这是一条一条读，当然也可以通过设置fetch的大小来一次读一定量的条数

我们来看看cursorclass这个参数是怎么说的

默认值是Cursor，返回的数据是元组形式的

DictCursor，除了返回是词典形式外，其他的与Cursor都相同

SSCursor，是服务端游标，结果集合储存在服务端并且传输行数通过fetch控制，其他与Cursor相同，最好只用在处理很大的数据结果集合上

SSDictCursor，除了返回是词典形式外，其他的与SSCursor相同

发表评论

表情：
评论列表 （有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读