Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸

谁借莪１个温暖的怀抱￠ 2022-09-10 02:19 236阅读 0赞

# 先图片开路 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1][]

# 环境介绍 #

*  python 3.6 / 3.8
 *  pycharm 编辑器
 *  requests
 *  parsel
 *  os 文件操作  
    在cmd里面就可以进行安装 pip install requests

# 无论是爬取那个网站 什么数据 都是可以按照这个流程去分析 #

# 一. 数据来源分析 #

### 1. 确定爬取的东西? ###

网址: 彼岸壁纸  
网站数据: 壁纸图片

### 2. 壁纸图片 数据是来自于哪里 ###

通过浏览器上面 开发者工具(F12/鼠标右键点击检查选择network)进行抓包分析  
I. 需要所有图片的 ID  
II. 获取图片ID之后, 才请求图片详情页url地址  
III. 获取图片地址 以及 图片标题

### 如果你不知道数据来源, 就没法进行爬取 ###

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

# [点这里即可免费在线观看][Link 1] #

# 二. 代码实现的过程: 确定需求(查询数据来源分析) >>> 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据 #

1.  发送请求 对于图片列表页发送请求
2.  获取数据 获取网页源代码
3.  解析数据 提取图片ID
4.  发送请求 把获取到的图片ID 出入图片详情页url中
5.  解析数据 提取图片地址 以及 图片标题
6.  保存数据
7.  多页爬取

# 1. 发送请求 对于图片列表页发送请求 #

url = f'http://www.netbian.com/meinv/index_{ page}.htm'
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)

<Response \[200\]> <> python里面表示的是对象 返回的是response对象(响应体对象)  
200 状态码 表示请求成功

# 2. 获取数据 获取网页源代码 >>>> 获取响应体的文本数据(字符串类型) #

# 它给返回的数据 出现了乱码 >>> 转码
    response.encoding = response.apparent_encoding # 自动识别编码
    print(response.text) # html字符串数据

# 3. 解析数据 提取图片ID 解析数据方式: re正则正则表达式 css选择器 xpath #

re正则正则表达式 可以对于字符串数据内容直接提取  
css选择器 xpath 都是根据标签属性内容提取数据

img_ids = re.findall('<li><a href="/desk/(\d+).htm" title', response.text)
    # 正则表达式匹配出来的数据内容 返回的是列表 列表里面每一个元素都是图片id
    
    for img_id in img_ids:
        # 构建壁纸详情页的url地址
        # 字符串格式化方法 format()
        link_url = f'http://www.netbian.com/desk/{ img_id}-1920x1080.htm'
        print(link_url)

# 4. 发送请求 把获取到的图片ID 出入图片详情页url中 #

response_1 = requests.get(url=link_url, headers=headers)
    selector = parsel.Selector(response_1.text)

# 5. 解析数据 提取图片地址 以及 图片标题 #

img_url = selector.css('#endimg img::attr(src)').get()
    title = selector.css('#endimg img::attr(title)').get()
    print(response_1.text)

# 6. 保存数据 #

img_content = requests.get(url=img_url, headers=headers).content
    with open('img\\' + title + '.jpg', mode='wb') as f:
        f.write(img_content)
        print(title, img_url)

# 7 .翻页爬取 #

for page in range(2, 11):
        print(f'正在爬取第{ page}页的数据内容')

#  #

[Python从零基础入门到实战系统教程、源码、视频，想要数据集的同学也可以点这里][Python]

# 最后运行完整代码 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220829/1adbfa02ceae4f608c5430db6d0b85d5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220829/2c7cf6aedec84c0ea8abc4940e10fb13.png
[Link 1]: https://www.bilibili.com/video/BV1544y1C7g4?share_source=copy_web
[Python]: https://link.csdn.net/?target=https%3A%2F%2Fjq.qq.com%2F%3F_wv%3D1027%26k%3DSuR89RD4
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/5e26d69d7bec4a39805f6317787959ea.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2-6byg54ix5ZCD6aW85bmy_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/205f584032244af2b280c1630250e259.png