基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）

本是古典何须时尚 2023-03-13 15:30 6阅读 0赞

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png]

# 前言 #

百度贴吧是以兴趣主题聚合志同道合者的互动平台，同好网友聚集在这里交流话题、展示自我、结交朋友。贴吧中有的帖子当中有用户上传的图片，今天跟着老师把约会吧全吧的图片给爬取下来吧

预先清理磁盘哦~~

# 本文亮点： #

1、分析页面（静态or动态）

2、两层数据解析

3、海量图片数据保存

# 环境介绍： #

python 3.6

pycharm

requests

parsel（xpath）

# 爬虫的一般思路 #

1、确定爬取的url路径，headers参数

2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

3、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理

4、保存数据

开始我们的案例吧

# 步骤 #

**1、导入工具**

import requests
    import parsel

**2、确定爬取的url路径，headers参数**

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png 1]

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png 2]

base_url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%8E%E5%A5%B3&fr=search'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}

**3、发送请求 -- requests 模拟浏览器发送请求，获取响应数据**

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png 3]

response = requests.get(base_url, headers=headers)
    html_str = response.text
    # print(html_data)

**4、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理**

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png 4]

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png 5]

html = parsel.Selector(html_str)
    title_url = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href').extract()
    # print(title_url)
    # 拼接完整的帖子链接
    second_url = 'https://tieba.baidu.com'
    for url in title_url:
        all_url = second_url + url
        print('当前的帖子链接为：',all_url)
        # 继续发送帖子的请求
        response_2 = requests.get(all_url, headers=headers).text
        # 第二次解析
        response_2_data = parsel.Selector(response_2)
        result_list = response_2_data.xpath('//cc/div/img[@class="BDE_Image"]/@src').extract()  # 提取帖子内部图片的链接
        # print(result_list)
        # 发送图片链接请求
        for li in result_list:
            img_data = requests.get(li, headers=headers).content  # 图片数据
            # 图片文件名
            file_name = li.split("/")[-1]

**5、保存图片数据**

with open("img\\" + file_name, 'wb') as f:
                print('正在下载图片：',file_name)
                f.write(img_data)

运行代码，结果如下图：

![基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）][format_png 6]

这样我们这一次的爬虫就算圆满成功了

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

[format_png]: /images/20230312/99fb92379aaf454194c1293d68c45a52.png
[format_png 1]: /images/20230312/75cc0a7d2cee4b398edc79c54128d164.png
[format_png 2]: /images/20230312/3a75a97e72124de8aeb43f890a5cf079.png
[format_png 3]: /images/20230312/9a35453517684274820103553ec0132c.png
[format_png 4]: /images/20230312/43b93315944c4376be67b43768ebc28c.png
[format_png 5]: /images/20230312/80dae42c0bf8405491f23237489d6b26.png
[format_png 6]: /images/20230312/306f4c2aaf5c4ec68dabcd96cd02c0a3.png