多进程爬虫（爬取小说）Python实现

客官°小女子只卖身不卖艺 2022-05-26 08:25 419阅读 0赞

区别于之前用**多协程**写的爬虫版本  
[多协程爬取小说][Link 1]  
这个版本，开销会比较大。效率上也不一定有之前的高  
不过，总体上还是很不错的~

## 问题分析 ##

这个版本，还有之前的版本都一样，还存在问题，就是在下载好了文件之后，我们这里是会先打包成每个章节的小说，再通过一个脚本来，将这些章节整合起来，放到了小说文件中。但是，实际上，这样反反复复地写文件，删除文件，是非常耗时间的。  
如果信息，都是直接存在内存当中，再通过这个方式再来直接写入文件，会快很多。  
但是这样就涉及到了**进程间的通信了**。通过这样的方式，完全可以维护一个字典。那样，开启进程的时候，就直接对所有的章节都开启一个进程就好了，对于那个被所有的人都在维护的字典，我们就做一个很简单的 关于index的排序，这样就可以直接做到了爬取的提速。

**上面的这些，其实在之前的协程中就很想用到了，但是，在协程中，最多监听1200个协程**。所以，这个涉及就没有在之前的协程中体现出来。

但是在申请进程的时候，开销太大的了（相比于协程），所以导致了，在这里，用的时间，比之前用协程要慢。但是，可以通过这个方式来提高速度。应该说前景更大吧。总之，这是用多进程写的这个爬虫的第一个版本。后续还会完善。

import requests
    import os
    import multiprocessing
    import random
    import re
    from lxml import etree
    from urllib import parse
    import time
    
    
    def setDir():
        if 'Noval' not in os.listdir('./'):
            os.mkdir('./Noval')
    
    
    def getNoval(url, id):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Cookie': '__cfduid=d820fcba1e8cf74caa407d320e0af6b5d1518500755; UM_distinctid=1618db2bfbb140-060057ff473277-4323461-e1000-1618db2bfbc1e4; ctrl_time=1; CNZZDATA1272873873=2070014299-1518497311-https%253A%252F%252Fwww.baidu.com%252F%7C1518507528; yjs_id=69163e1182ffa7d00c30fa85105b2432; jieqiVisitTime=jieqiArticlesearchTime%3D1518509603'
        }
        IPs = [
            {
       'HTTPS': 'https://115.237.16.200:8118'},
            {
       'HTTPS': 'https://42.49.119.10:8118'},
            {
       'HTTPS': 'http://60.174.74.40:8118'}
        ]
        IP = random.choice(IPs)
        res = requests.get(url, headers=headers, proxies=IP)
        res.encoding = 'GB18030'
        html = res.text.replace(' ', ' ')  # 替换掉这个字符 换成空格~ 意思是一样的
        page = etree.HTML(html)
        content = page.xpath('//div[@id="content"]')
        ps = page.xpath('//div[@class="bookname"]/h1')
        if len(ps) != 0:
            s = ps[0].text + '\n'
            s = s + content[0].xpath("string(.)")
            with open('./Noval/%d.txt' % id, 'w', encoding='gb18030', errors='ignore') as f:
                f.write(s)
    
    
    def getContentFile(url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Cookie': '__cfduid=d820fcba1e8cf74caa407d320e0af6b5d1518500755; UM_distinctid=1618db2bfbb140-060057ff473277-4323461-e1000-1618db2bfbc1e4; ctrl_time=1; CNZZDATA1272873873=2070014299-1518497311-https%253A%252F%252Fwww.baidu.com%252F%7C1518507528; yjs_id=69163e1182ffa7d00c30fa85105b2432; jieqiVisitTime=jieqiArticlesearchTime%3D1518509603'
        }
        IPs = [
            {
       'HTTPS': 'https://115.237.16.200:8118'},
            {
       'HTTPS': 'https://42.49.119.10:8118'},
            {
       'HTTPS': 'http://60.174.74.40:8118'}
        ]
        IP = random.choice(IPs)
        res = requests.get(url, headers=headers, proxies=IP)
        res.encoding = 'GB18030'
        page = etree.HTML(res.text)
        bookname = page.xpath('//div[@id="info"]/h1')[0].xpath('string(.)')
        dl = page.xpath('//div[@id="list"]/dl/dd/a')
        splitHTTP = parse.urlsplit(url)
        url = splitHTTP.scheme + '://' + splitHTTP.netloc
        return list(map(lambda x: url + x.get('href'), dl)), bookname
    
    
    def BuildGevent(baseurl):
        content, bookname = getContentFile(baseurl)  # version2
        steps = 10
        beginIndex, length = steps, len(content)
        count = 0
        name = "%s.txt" % bookname
    
    
        while (count - 1) * steps < length:
            WaitigList = [multiprocessing.Process(target=getNoval, args=(content[i + count * steps], i + count * steps)) for i in range(steps) if
                          i + count * steps < length]
            for p in WaitigList:
                p.start()
            for p in WaitigList:
                p.join()
    
            NovalFile = list(filter(lambda x: x[:x.index('.')].isdigit(), os.listdir('./Noval')))
            NovalFile.sort(key=lambda x: int(re.match('\d+', x).group()))
            String = ''
            for dirFile in NovalFile:
                with open('./Noval/' + dirFile, 'r', encoding='gb18030', errors='ignore') as f:
                    String = String + '\n' + f.read()
                os.remove('./Noval/%s' % dirFile)
            if count == 0:
                with open('./Noval/' + name, 'w', encoding='gb18030', errors='ignore') as ff:
                    ff.write(String)
            else:
                with open('./Noval/' + name, 'a', encoding='gb18030', errors='ignore') as ff:
                    ff.write(String)
            count += 1
    
    
    if __name__ == '__main__':
        starttime = time.time()
        setDir()
        url = 'http://www.biquge.com.tw/6_6107/'
        BuildGevent(url)
        endtime = time.time()
        print("Total use time: %.6f" % (endtime - starttime))

[Link 1]: https://blog.csdn.net/a19990412/article/details/79323191