python实战演练三：抓取我自己csdm博客信息的标题和文章链接，并存入文件夹《只抓取了一页数据，如何抓取全部数据》

向右看齐 2021-11-04 14:40 169阅读 0赞

分析：  
1、从页面可得抓数据要抓取多页，则可以进行循环，有7页，则把页码数循环7次就可以得到想要结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70]  
分析：先把链接1-7找出来  
代码：

index=0
    for x in range(7):
        index=index+1
        r='https://blog.csdn.net/weixin_41665637/article/list/{}'.format(index)
        print(r)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 1]

2、应用到原程序，就是把原程序的变成调用一下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 2]

from lxml import  etree#调用的函数
    import requests #调用的函数
    index=0
    for x in range(7):
        index=index+1
        d='https://blog.csdn.net/weixin_41665637/article/list/{}'.format(index)
        r=requests.get(d).content#被测地址
        topic=etree.HTML(r)
        html=topic.xpath("//main/div/div/h4/a/@href")#抓取链接
        title=topic.xpath("//main/div/div/h4/a/text()")#抓取标题
        # print(html)
        # print(title)
        sep1='\n'#sep是分隔符，sep='\n'就是分行输入
        sep2='\n'
        f = open('C:\\Users\\ldh\\Desktop\\file.txt', 'r+', encoding='utf-8')#文件夹的地址要写双斜杠
        a=f.write((sep1.join(html)))
        b=f.write((sep2.join(title)))
        nr=a+b
        print(nr)
        f.close()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70]: /images/20211104/0cabea7ae2d14e7f86b88755b0767885.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 1]: /images/20211104/1732dd5d3aec4ae5a53b13ec67268b13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 2]: /images/20211104/7082ed16857c422e9abd26614e7b2796.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 3]: /images/20211104/065e81de2cde4d8396ce357443e0605f.png