设计师的福利，python爬取素材网站

Myth丶恋晨 2022-12-10 14:38 256阅读 0赞

## 前言 ##

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

[python免费学习资料以及群交流解答点击即可加入][python]

## 基本环境配置 ##

*  python 3.6
 *  pycharm
 *  requests
 *  parsel

相关模块pip安装即可

## 确定网站目标 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]  
基本常规操作，F12打开开发者工具，分析网页  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]  
网页返回的数据 ，都是一堆乱码，再写代码的时候可以转一下编码就好了  
静态网页都是非常简单的，是可以直接抓取到自己想要的数据的

## 请求网页 ##

import requests
    import re
    url = 'http://www.sccnn.com/shiliangtuku/default({}).html'.format(page)
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    response.encoding = response.apparent_encoding

## 分析网页，解析数据 ##

import parsel
    r = re.findall('<a href="(.*?)" target="_blank">', response.text)
    urls = r[2:]
    for i in urls:
        page_url = 'http://www.sccnn.com' + i
        response_2 = requests.get(url=page_url, headers=headers)
        response_2.encoding = response_2.apparent_encoding
        selector = parsel.Selector(response_2.text)
        title = selector.css('#LeftBox h2::text').get()
        img_url = selector.css('#LeftBox .PhotoDiv img::attr(src)').get()

## 保存数据 ##

def downlaod(title, url):
        path = 'D:\\python\\demo\\素材网站\\img\\' + title + '.jpg'
        response = requests.get(url=url, headers=headers)
        with open(path, mode='wb') as f:
            f.write(response.content)
            print('正在下载{}'.format(title))

## 实现效果 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 4]

[python]: https://jq.qq.com/?_wv=1027&k=kQrKxXXR
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/363c60a009f64901a84efd6e7a3f61c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/5388f8db7303488c9b50b5970ddbbf09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/487cb1acef0b4267a7e492ad13b04a5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/81ba28bd5d6d4288ae61e331cb5e84f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/62b1935de1d44b94b22ea01dc8b633df.png