判断爬取的文件数量是否完全

曾经终败给现在 2022-05-09 04:28 74阅读 0赞

描述：最近爬取了某大学的论文网站上面的论文，但是发现网页上数量是227篇，我下载下来只有226篇，所以写了此代码想找出来少了那一篇。

过程中，我先是判断了两个列表中是否存在不同的元素并输出，但是发现是完全相同的，接着我就想可能是网页中存在重复的元素，就判断了urll列表中是否自身包含重复元素。

结果：最后发现该网站类别下有两篇相同的文章，我的爬虫代码里有判断去重，所以只下载了226篇。

代码：

from lxml import etree
    import requests
    import os
    
    if __name__ == '__main__':
        url="https://arxiv.org/list/stat/pastweek?show=227"
        res = requests.get(url)
        res.encoding="utf-8"
        mytree = etree.HTML(res.content)
        ul = mytree.xpath("//*[@id='dlpage']/dl/dt/span/a[2]/@href")
    
        #下面这段代码是从网站爬取论文的代理名城存入urll列表
        urll = []
        for url in ul:
    
            filenam = str(url)
            filename = filenam[5:]
    
            # print("第%s篇" %(i))
            # print(filename)
            urll.append(filename)
            # if 1809.08550 in urll:
            #     print("yes !!!")
            # else:
            #     print("buzai")
            # i= i+1
        print(urll)
        print(len(urll))
    
        #下面代码作用是从本地文件夹获取下载的所有文章名字并截取同上面相同的字符串存入列表
        dir = "E:\pythonxm\zhengze"
        str2 =".pdf"                           #下载的论文是PDF格式的，要去掉后缀名
        aaaa =[]                               # 之后再插入列表aaaa
        for root, dirs, files in os.walk(dir):
            for file in files:                 #遍历文件夹，并且只获取带.pdf的文章
                 if str(file).find(str2)>=0:
                    aaaa.append(os.path.join(file[0:10]))   #file[0:10]去掉后缀名
            print(aaaa)
            print(len(aaaa))
    
        #这段代码是判断两个列表中不同的元素，并输出
    
        list3 =[]
        list4 =[]
        for i in urll:
            for j in aaaa:
                if i == j:
                    list3.append(i)
    
        for b in (urll + aaaa):
            if b not in list3:
                list4.append(b)
    
        print(list3)
        print("两个列表不同的元素是：")
        print(list4)
    
        #此段代码是查urll列表中重复的元素并输出。
        seen = set()
        duplicated = set()
        for x in urll:
            if x not in seen:
                seen.add(x)
            else:
                duplicated.add(x)
        print("列表urll中的重复元素是：")
        print(duplicated)

下面只是补充详细，可以不看-----------------------------------------------------

此图片自己文件夹下的文章：

![70][]

下面是网页中抓取的存储在列表中的元素：

![70 1][]

下面是运行结果截图：

![70 2][]

参考网页：

https://blog.csdn.net/yehuaner33/article/details/81477217  列表比较  
https://www.cnblogs.com/xunbu7/p/8074417.html  字节截取  
https://blog.csdn.net/ftell/article/details/79455932 查找列表中重复元素

[70]: /images/20220509/60a10703867e450981cc8000251211f0.png
[70 1]: /images/20220509/827d71da1bd745d582cab26f81f826b2.png
[70 2]: /images/20220509/b20ce08d9f334d11bb4978c8b2399ca5.png