爬虫实战：嗅事百科段子多页爬取

系统管理员 2023-01-07 10:23 145阅读 0赞

假如我们想爬取糗事百科( http://ww qiushibaike.com/)上的段子，也可以编写对应的Python网络爬虫实现。  
![20210117144421554.png_pic_center][]

本项目糗事百科网络爬虫的实现思路及步骤如下:

1.  分析各页间的网址规律，构造网址变量，并可以通过for循环实现多页内容的爬取
2.  构建一个自定义函数，专门用来实现爬取某个网页上的段子，包括两部分内容，一部分是对应用户，一部分是用户发表的段子内容。该函数功能实现的过程为:首先，模拟成浏览器访问，观察对应网页源代码中的内容，将用户信息部分与段子内容部分的格式写成正则表达式。随后，根据各正则表达式分别提取出该页中所有的用户与所有的内容，然后通过for循环遍历段子内容并将内容分别赋给对应的变量，这里变量名是有规律的，格式为“content+顺序号”，接下来再通过for循环遍历对应用户，并输出该用户对应的内容。
3.  通过for循环分别获取多页的各页URL链接，每页分别调用一次getcontent ( url,page)函数。

## 定义正则表达式 ##

**用户**  
审查元素  
![20210117144514299.png_pic_center][]

查看源代码  
![20210117144855443.png_pic_center][]

多审查几个用户，

于是我们可以定义规则

userpat=str('<h2>(.*?)</h2>')

**内容**  
![20210117150913280.png_pic_center][]  
于是可以定义内容正则

contentpat = '<div class="content">(.*?)</div>'

## 全部代码 ##

import urllib.request
    import re
    from urllib import request
    def getcontent(url,page):
        headers = ("User-Agent",
                   "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36")
        opener = urllib.request.build_opener()
        opener.addheaders = [headers]
        # 将opener安装为全局
        urllib.request.install_opener(opener)
    
        url_request = request.Request(url)
        html1 = request.urlopen(url_request, timeout=10)
        data=html1.read().decode('utf-8')
        #构建用户正则表达式
        userpat=str('<h2>(.*?)</h2>')
        #构建内容正则表达式
        contentpat = '<div class="content">(.*?)</div>'
        #寻找出所有用户
        userlist=re.compile(userpat,re.S).findall(data)
        #寻找所有的内容
        contentlist=re.compile(contentpat,re.S).findall(data)
    
        x=1
        #通过for循环遍历段子内容并将内容赋值给对应的变量
        for content in contentlist:
            content=content.replace('\n','')
            #用字符串作为变量名，先将对应的字符串赋值给一个变量
            name="content"+str(x)
            exec(name+'=content')
            x+=1
    
        y=1
        #通过for循环遍历用户，并始终输出 该用户对应的内容
        for user in userlist:
            name='content'+str(y)
            print('用户'+str(page)+str(y)+'是:'+user)
            print('内容是:')
            exec("print("+name+")")
    
    
            print('\n')
            y+=1
    
    for i in range(10):
        url='https://www.qiushibaike.com/text/page/'+str(i)+'/'
        getcontent(url,i)

![20210117160020735.png_pic_center][]

函数解析

exec()是一个十分有趣且使用的内置函数，不同于eval()函数只能执行计算数学表达式的结果的功能，exec()能够动态地执行复杂的Python代码，能够十分强大  
首先是一个简单的小例子，代码如下：

i = 12
    j = 13
    exec("answer=i*j")
    print("Answer is %s"%answer)

答案·156

![在这里插入图片描述][20210117160431822.jpg_pic_center]

[20210117144421554.png_pic_center]: /images/20221119/2ef1a90347a7436abc9b197db87c2c07.png
[20210117144514299.png_pic_center]: /images/20221119/8342ae258cdd4f6aa42784af651fbaf3.png
[20210117144855443.png_pic_center]: https://img-blog.csdnimg.cn/20210117144855443.png#pic_center
[20210117150913280.png_pic_center]: https://img-blog.csdnimg.cn/20210117150913280.png#pic_center
[20210117160020735.png_pic_center]: https://img-blog.csdnimg.cn/20210117160020735.png#pic_center
[20210117160431822.jpg_pic_center]: https://img-blog.csdnimg.cn/20210117160431822.jpg#pic_center