python爬虫实践（1）爬取图片网站的高清壁纸

桃扇骨 2023-02-13 11:29 67阅读 0赞

## python爬虫实践（1）爬取图片网站的高清壁纸 ##

## robots.txt协议： ##

爬取网站之前首先检查该站点根目录下是否存在robots.txt，如果存在，就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。，如http://pic.netbian.com/robots.txt，Disallow下的目录或文件都禁止爬取。

#!/usr/bin/env python
    # coding: utf-8
    # @Desc  : 爬取彼岸图网壁纸
    
    import requests
    from bs4 import BeautifulSoup
    import os,re
    
    # 创建目录
    def createDir(filePath):
        if not os.path.exists(filePath):
            os.mkdir(filePath)
    
    # 获取壁纸超链接
    def getAndSavehref(url,pagenum):
        try:
            createDir(os.getcwd()+"\img")
            f = open(os.getcwd()+'\img\html_href.txt', 'w', encoding='utf-8')
            # 请求头
            head = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
            }
            for i in range(1, pagenum):
                if i==1 :
                   r = requests.get(url, headers=head)
                else:
                    r = requests.get(url +'index_' +str(i)+'html', headers=head)
                r.encoding = r.apparent_encoding
                soup = BeautifulSoup(r.text, 'html.parser')
                content =soup.select('div>ul>li')
                i=0
                for h in content:
                    href=h.find("a").attrs['href']
                    if re.match('.*tupian.*',href):
                        r = requests.get('http://pic.netbian.com'+href)
                        soup = BeautifulSoup(r.text, 'html.parser')
                        f.write('http://pic.netbian.com'+soup.select_one('#img>img').attrs['src'] + '\n')
            f.close()
            print("爬取壁纸地址成功！")
        except:
            print("爬取壁纸地址失败！")
    
    
    def save_img():
            createDir(os.getcwd()+"\img\images")
            f_read = open(os.getcwd()+'\img\html_href.txt', 'r+', encoding='utf-8')
            number = 1
            for line in f_read:
                try:
                    print(os.getcwd()+"\img\images" + str(number) + '.jpg')
                    line = line.rstrip("\n")
                    # 根据个数顺序重命名名称
                    f_write = open(os.getcwd()+"\img\images" + str(number) + '.jpg', 'wb')
                    r = requests.get(line)
                    # 如果图片地址有效则下载图片状态码200，否则跳过。
                    if r.status_code == 200:
                        f_write.write(r.content)
                        # 若保存成功，则命名顺序+1
                        number += 1
                        print("当前保存第" + str(number) + "张图片。")
                    f_write.close()
                except:
                    print("下载图片出错！！")
            f_read.close()
    
    if __name__ == "__main__":
        try:
            print('默认爬取4K风景：http://pic.netbian.com/4kfengjing，其他可选地址如http://pic.netbian.com/4kdongman等')
            url = input('如需要爬取其他大类壁纸，在此输入网址，否则按Enter建继续：')
            pagenum=input('输入一个数字，表示下载多少页，默认（5）：')
            if not url:
                url ='http://pic.netbian.com/4kfengjing'
            if not pagenum:
                pagenum=5
            getAndSavehref(url,pagenum=int(pagenum))
            save_img()
            input('壁纸已下载到当前目录，按任意键退出：')
        except:
            input('输入错误，检查网址和页数，按任意键退出：')

程序运行会产生下面的目录：  
![在这里插入图片描述][20200528204009560.png]  
爬取壁纸在此：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc4MDA4MA_size_16_color_FFFFFF_t_70]  
关注微信公众号，可以下载打包好的EXE程序奥。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc4MDA4MA_size_16_color_FFFFFF_t_70 1]

[20200528204009560.png]: https://img-blog.csdnimg.cn/20200528204009560.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc4MDA4MA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528204105691.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc4MDA4MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc4MDA4MA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200612194029118.JPG?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc4MDA4MA==,size_16,color_FFFFFF,t_70