查找出两个文档中不同的数据

朴灿烈づ我的快乐病毒、 2021-09-22 05:34 299阅读 0赞

爬取Twitter数据产生了如下文档，我是根据用户ID来爬取的数据，所得到的文件名也设定为用户的ID\_tweets，所有文件放在了一个文件夹下。

而我用来抓取数据的ID放在了一个csv文件下。现在要做的就是导入这个文件夹下的已经爬取的用户ID号与csv下的所有的用户ID号来进行对比，找出其中没有被爬取的用户ID，进而再次进行爬取。

用Python实现以上过程，程序如下：

\# coding=utf-8

"""

function recFileName

功能：得到文件夹中文件名组成的列表

输入：

file\_dir：文件夹地址,例如:'dealcontent\_Twitter'或'dealcontent\_Twitter/'

输出：

L：文件名组成的列表

"""

import os

import csv

import re

import numpy as np

L = \[\]

N = \[\]

def recFileName(file\_dir):

for root, dirs, files in os.walk(file\_dir):

for filename in files:

\#   if os.path.splitext(file)\[1\] == '.jpeg':

\#   L.append(os.path.join(root, file))

\#   将字符串传唤成整型

L.append(int(filename.split('\_', 1)\[0\]))     \#以文件名中的“\_”为分隔符，分割一次，并取分隔后的数据的第一项，用\[1\]表示

def scvFileName(file\_dir):

with open(file\_dir, 'rb') as f:

ID = csv.reader(f)

for row in ID:

\#   if os.path.splitext(file)\[1\] == '.jpeg':

\#   L.append(os.path.join(root, file))

N.append(int(row\[0\]))

if \_\_name\_\_ == '\_\_main\_\_':

\# scvFileName('e:/file/twitterUserId7118.csv')

\# recFileName('e:/file/6416')

C = \[\]

scvFileName('e:/file/twitterUserId7118.csv')

recFileName('e:/file/6416')

print ('L', L)

print ('N', N)

C = list(set(N).difference(set(L)))

print ('C', C)

for j in C:

print j

首先定义了两个全局变量LN用来存放数据的数组

然后分别定义了两个方法，其中recFileName用来读入已经爬取的用户ID到数组L中，scvFileName用来读入csv文件中的所有用户的ID号到数组N中。

之后再定义一个数组C，用指令  C = list(set(N).difference(set(L)))将数组N与数组L比较后的数据传入到C中。

由于传入C中的数据我还有拿来重新抓取数据，所以我将输出的C的数据按列输出，即print j，然后再将所输出的用户ID复制到csv文档中，当然这后续的步骤动动鼠标就可以自行完成了。

发表评论取消回复

表情：

评论列表（有 0 条评论，299人围观）

还没有评论，来说两句吧...

相关阅读

相关 php 两个数组不对元素,php查找出两个数组中不同的元素

php查找出两个数组中不同的元素，查找数组不存在另一个数组中的元素。函数/\\ \ \[diff\_element 寻找两个数组所有不同的元素\] \ @param

男娘i/ 2023年01月18日 15:28/ 0 赞/ 21 阅读

相关两个对象数组筛选出不同

有这么一个需求 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9

秒速五厘米/ 2022年11月15日 11:56/ 0 赞/ 202 阅读

相关 java找出两个字符串不同的地方_在两个不同的单元格中查找相同的字符串，即Excel VBA...

我试图在两个不同的单元格中找到一个字符串值，但无济于事 . 也许与搜索方向有关 . 代码在第一个单元格中找到字符串，但从不在第二个单元格中(单元格不相邻)？请参阅代码摘录：

痛定思痛。/ 2022年11月09日 12:50/ 0 赞/ 192 阅读

相关两中方式找出Excel中相同和不同的数据

不管我们是干财务也好，还是干IT也好。在面对大量的数据的时候我们总会有这样的需求：对比两列数据中相同或者不同的部分。下面介绍两种不同的方式找出两列数据中相同的部分。一、

阳光穿透心脏的1/2处/ 2022年09月24日 14:25/ 0 赞/ 250 阅读

相关 wps两个表格对比数据(怎样对两个EXCEL表格数据对比,找出相同和不同的数据?)

在表1中，选中B1单元格输入公式=VLOOKUP(A1,表2!A:A,1,FALSE) 公式往下拉显示\N/A的表示未在表2中找到相同值，其余表示是相同值。方法2

喜欢ヅ旅行/ 2022年09月06日 15:20/ 0 赞/ 546 阅读

相关采用归并排序算法查找两个字符串数组中的不同数据

现在项目中有需求比较两个字符串数组，找出其中不同的部分，并保存到本地txt。实现方式每个人都有自己的思路，这里提供一种通过归并排序实现的方式供大家参考。基本思路是数

小咪咪/ 2022年08月18日 15:29/ 0 赞/ 150 阅读

相关比较两个文档中元素的不同

Note that comm takes sorted files as input. Take a look at the following example: $ ca

以你之姓@/ 2022年06月11日 09:29/ 0 赞/ 194 阅读

相关 orcale 查找出两个表中相同字段的不同的值minus

1.user表 SELECT user_id FROM OA_COMPANY_USER ![70][] 2.项目表中投入过的人员 SELECT

叁歲伎倆/ 2022年05月17日 10:19/ 0 赞/ 269 阅读

相关查找出两个文档中不同的数据

爬取Twitter数据产生了如下文档，我是根据用户ID来爬取的数据，所得到的文件名也设定为用户的ID\_tweets，所有文件放在了一个文件夹下。而我用来抓取数据的ID放在

朴灿烈づ我的快乐病毒、/ 2021年09月22日 05:34/ 0 赞/ 300 阅读

相关筛选出两个数组不同的元素

1.筛选出两个数组不同的元素 let list= []; list = this.array1.filter(item=>{ return

痛定思痛。/ 2021年09月17日 23:08/ 0 赞/ 350 阅读