python存储大量数据_存储大量数据的最聪明方法

拼搏现实的明天。 2022-10-27 14:55 184阅读 0赞

我想用REST请求访问flickrapi并下载大约100万张照片的元数据(可能更多)。

我想将它们存储在一个.csv文件中，然后导入到MySQL数据库中进行进一步处理

我想知道处理如此大的数据最聪明的方法是什么。我不确定的是，在用Python访问网站后，如何存储它们，将它们传递到.csv文件，然后从那里传递到数据库。这是一个很大的问号。在

现在发生的事情(对于我的理解，请参阅下面的代码)是为每个photo创建一个dictionary(每个调用的URL有250个)。这样的话，我最终得到的词典和照片一样多(100万或更多)。有可能吗？

所有这些dictionaries都将被追加到一个列表中。我能把那么多字典加到一个单子上吗？我想将字典追加到列表中的唯一原因是，从列表(每行)保存到.csv文件似乎更容易。在

你应该知道的是，我是一个完全的编程初学者，python等等。我的职业完全不同，我刚刚开始学习。如果你需要进一步的解释，请告诉我！在\#accessing website

list = \[\]

url = "https://api.flickr.com/services/rest/?method=flickr.photos.search&api\_key=5...1b&per\_page=250&accuracy=1&has\_geo=1&extras=geo,tags,views,description"

soup = BeautifulSoup(urlopen(url)) \#soup it up

for data in soup.find\_all('photo'):

dict = \{

"id": data.get('id'),

"title": data.get('title'),

"tags": data.get('tags'),

"latitude": data.get('latitude'),

"longitude": data.get('longitude'),

\}

print (dict)

list.append(dict)

我正在使用python3.3。我之所以不直接将数据传递到数据库，是因为我无法在OSX10.6上运行PythonConnecterforMySQL数据库。在

非常感谢任何帮助。

谢谢大家！在

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL：大量重复数据存储引发的问题

在MySQL中，如果存在大量的重复数据，可能会引发以下几个问题： 1. **数据冗余**：重复的数据占用了额外的存储空间，导致资源浪费。 2. **更新困难**：当某个重复

心已赠人/ 2024年12月20日 10:33/ 0 赞/ 4 阅读

相关 mysql 清理大量数据的存储过程_MySQL-存储过程-高效清理数据

使用存储过程清理数据，往往会引起全表扫，如果表内数据非常大，清理效率会很低。本文讲解了如何在存储过程中合理利用索引清理数据。一、准备表结构(测试数据量740W) CR

- 日理万妓/ 2023年01月12日 01:56/ 0 赞/ 182 阅读

相关 python存储大量数据_存储大量数据的最聪明方法

我想用REST请求访问flickrapi并下载大约100万张照片的元数据(可能更多)。我想将它们存储在一个.csv文件中，然后导入到MySQL数据库中进行进一步处理我想

拼搏现实的明天。/ 2022年10月27日 14:55/ 0 赞/ 185 阅读

相关 Oracle 存储过程导出大量数据

现场提了一个需求，要执行一条很复杂的SQL,由于是省级的系统，同样的SQL，只是一个条件不一样，需要执行60次，每次查出的数据有上百万，在网上搜索了一个方法是eagle写

傷城~/ 2022年06月16日 02:53/ 0 赞/ 273 阅读

相关 redis中的map存储大量数据会有什么问题

Map\{Key，filed，Value\} 在redis集群中，是对Key做的hash，也就是说同一个key下的不同的field会落到集群中的某一个实例上，这

分手后的思念是犯贱/ 2022年06月13日 07:57/ 0 赞/ 581 阅读

相关 POI 读取excel大量数据方法

今天在做excel文件上传时，发现数据量超过10万条后，系统会出现内存溢出。跟踪代码发现程序卡在如下代码这里： Workbook workbook=Workbo

你的名字/ 2022年05月25日 07:41/ 0 赞/ 419 阅读

相关对于STM32存储大量数据的优化问题

![在这里插入图片描述][70] 对于存储固定字节的大量数据，例如一个数据有16字节，如果数据量很大，需要找某个数据的时候，需要一个个遍历判断，很耗时间。处理方法是，把每个

梦里梦外;/ 2022年05月11日 09:18/ 0 赞/ 223 阅读

相关大量数据的排序

前文：主要为一些数据排序的思路。一、Top k问题 1、最大的1000个数字 ![watermark_type_ZmFuZ3poZW5naGV

叁歲伎倆/ 2022年01月28日 06:45/ 0 赞/ 367 阅读

相关大量文件名记录的树形结构存储

十多年来，NAS中已经存在的目录和文件达到10亿之多，在设计和开发备份系统的过程中碰到了很多挑战，本文将分享大量文件名记录的树形结构存储实践。一、引言既然是定期备份

た入场券/ 2021年12月16日 13:27/ 0 赞/ 220 阅读

相关 php 导出excel大量数据方法

由于数据较大,常用的PHPexcel包需要把所有数据拿到后才能生成excel，在面对生成超大数据量的excel文件时这显然是会造成内存溢出的，所以考虑使用让PHP边写入输出流

约定不等于承诺〃/ 2021年09月30日 11:28/ 0 赞/ 1679 阅读