Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸

谁借莪１个温暖的怀抱￠ 2022-09-10 02:19 295阅读 0赞

先图片开路

watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center

watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1

环境介绍

  • python 3.6 / 3.8
  • pycharm 编辑器
  • requests
  • parsel
  • os 文件操作
    在cmd里面就可以进行安装 pip install requests

无论是爬取那个网站 什么数据 都是可以按照这个流程去分析

一. 数据来源分析

1. 确定爬取的东西?

网址: 彼岸壁纸
网站数据: 壁纸图片

2. 壁纸图片 数据是来自于哪里

通过浏览器上面 开发者工具(F12/鼠标右键点击检查选择network)进行抓包分析
I. 需要所有图片的 ID
II. 获取图片ID之后, 才请求图片详情页url地址
III. 获取图片地址 以及 图片标题

如果你不知道数据来源, 就没法进行爬取

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

点这里即可免费在线观看

二. 代码实现的过程: 确定需求(查询数据来源分析) >>> 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

  1. 发送请求 对于图片列表页发送请求
  2. 获取数据 获取网页源代码
  3. 解析数据 提取图片ID
  4. 发送请求 把获取到的图片ID 出入图片详情页url中
  5. 解析数据 提取图片地址 以及 图片标题
  6. 保存数据
  7. 多页爬取

1. 发送请求 对于图片列表页发送请求

  1. url = f'http://www.netbian.com/meinv/index_{ page}.htm'
  2. headers = { 
  3.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
  4. }
  5. response = requests.get(url=url, headers=headers)

<> python里面表示的是对象 返回的是response对象(响应体对象)
200 状态码 表示请求成功

2. 获取数据 获取网页源代码 >>>> 获取响应体的文本数据(字符串类型)

  1. # 它给返回的数据 出现了乱码 >>> 转码
  2. response.encoding = response.apparent_encoding # 自动识别编码
  3. print(response.text) # html字符串数据

3. 解析数据 提取图片ID 解析数据方式: re正则正则表达式 css选择器 xpath

re正则正则表达式 可以对于字符串数据内容直接提取
css选择器 xpath 都是根据标签属性内容提取数据

  1. img_ids = re.findall('<li><a href="/desk/(\d+).htm" title', response.text)
  2. # 正则表达式匹配出来的数据内容 返回的是列表 列表里面每一个元素都是图片id
  4. for img_id in img_ids:
  5.     # 构建壁纸详情页的url地址
  6.     # 字符串格式化方法 format()
  7.     link_url = f'http://www.netbian.com/desk/{ img_id}-1920x1080.htm'
  8.     print(link_url)

4. 发送请求 把获取到的图片ID 出入图片详情页url中

  1. response_1 = requests.get(url=link_url, headers=headers)
  2. selector = parsel.Selector(response_1.text)

5. 解析数据 提取图片地址 以及 图片标题

  1. img_url = selector.css('#endimg img::attr(src)').get()
  2. title = selector.css('#endimg img::attr(title)').get()
  3. print(response_1.text)

6. 保存数据

  1. img_content = requests.get(url=img_url, headers=headers).content
  2. with open('img\\' + title + '.jpg', mode='wb') as f:
  3.     f.write(img_content)
  4.     print(title, img_url)

7 .翻页爬取

  1. for page in range(2, 11):
  2.     print(f'正在爬取第{ page}页的数据内容')

#

Python从零基础入门到实战系统教程、源码、视频，想要数据集的同学也可以点这里

最后运行完整代码

在这里插入图片描述

watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16 1

发表评论

表情：
评论列表 （有 0 条评论，295人围观）

还没有评论，来说两句吧...

相关阅读