爬虫：爬取百度图片

客官°小女子只卖身不卖艺 2022-02-25 03:40 438阅读 0赞

详细过程参考下面的网址，真的很不错的文章：  
[https://blog.csdn.net/mingzhiqing/article/details/82778954][https_blog.csdn.net_mingzhiqing_article_details_82778954]

下面附上上面博客的代码的详细注释，我有每一步去详细注释，很容易理解：

\#爬取图片就3步，1.获取图片的大图网页， 2.以二进制方式存储， 3.file.write(大图网页.content)

from urllib.parse import urlencode
    import requests
    import re
    import os
    save_dir='./baidutu/'
     
    def get_page(offset):
        #这下面headers中Query String Parameters中的键值对
        params = {
            'tn': 'resultjson_com',
            'ipn': 'rj',
            'ct':'201326592',
            'is':'',
            'fp': 'result',
            'queryWord': '帅哥',
            'cl': '2',
            'lm': '-1',
            'ie': 'utf-8',
            'oe': 'utf-8',
            'adpicid':'',
            'st': '-1',
            'z':'',
            'ic': '0',
            'word': '帅哥',
            's':'',
            'se':'',
            'tab':'',
            'width':'',
            'height':'',
            'face': '0',
            'istype': '2',
            'qc':'',
            'nc': '1',
            'fr':'',
            'expermode':'',
            'cg': 'girl',
            'pn': offset*30,  #pn的值是30的倍数
            'rn': '30',
            'gsm': '1e',
            '1537355234668':'',
        }
        url = 'https://image.baidu.com/search/acjson?' + urlencode(params)
        try:
            response = requests.get(url)
            if response.status_code == 200:  #status_code是状态码，等于200就表明服务器已成功处理了请求
                return response.json()
        except requests.ConnectionError as e:
            print('Error', e.args)
            
    def  baidtu_uncomplie(url):
        res = ''
        c = ['_z2C$q', '_z&e3B', 'AzdH3F']  #这几个字符串是objURL中的部分
        d= {'w':'a', 'k':'b', 'v':'c', '1':'d', 'j':'e', 'u':'f', '2':'g', 'i':'h', 't':'i', '3':'j', 'h':'k', 's':'l', '4':'m', 'g':'n', '5':'o', 'r':'p', 'q':'q', '6':'r', 'f':'s', 'p':'t', '7':'u', 'e':'v', 'o':'w', '8':'1', 'd':'2', 'n':'3', '9':'4', 'c':'5', 'm':'6', '0':'7', 'b':'8', 'l':'9', 'a':'0', '_z2C$q':':', '_z&e3B':'.', 'AzdH3F':'/'}
        if(url==None or 'http' in url):
            return url
        else:
            j= url
            for m in c:
                j=j.replace(m,d[m])
            for char in j:
                # re.match("itcast","itcast.cn”) # match 第一个参数是需要匹配的字符串，第二个是源字符串
                #[]表示匹配[]中列举的字符，^是字符串开始位置，\d表示匹配数字即0-9，$是字符串结束位置，+匹配前一个字符出现1次或者无限次，即至少有1次
                if re.match('^[a-w\d]+$',char):  #匹配是否有对应的字符
                    char = d[char]  #再去d中匹配对应的键值对的值
                res= res+char  #拼接起来  
            return res
        
    def get_images(json):
        #get是取字典中键值对的值，这个函数取的所有值都是preview中的键
        if json.get('data'):  #若data的值不为空
            for item in json.get('data'):  #json.get('data')得到data下面的0到30所对应的所有字典，item是0到30中的一个
                if item.get('fromPageTitle'):  #如果页面标题不为空，即你要找的关键词不为空
                    title = item.get('fromPageTitle')  #获取页面标题的值
                else:
                    title='noTitle'
                image = baidtu_uncomplie(item.get('objURL'))  #调用解码函数，将加密的大图网址传给解码函数，得到解码后的网址
                if(image):
                    #使用一个yield的时候，对应的函数就是一个生成器了。生成器的功能就是在yield的区域进行迭代处理
                    #yield 是一个类似 return 的关键字，迭代一次遇到yield时就返回yield后面(右边)的值
                    yield {
                        'image': image,
                        'title': title
                    }
    
    def save_image(item,count):
        try:
            response = requests.get(item.get('image'))  #item.get('image')得到图片的网址，requests.get是获取网页
            if response.status_code == 200:    ##status_code是状态码，等于200就表明服务器已成功处理了请求
                #format是格式化函数，{0}代表format中的第一个参数，即str(count)，{1}代表第二个参数，即jpg
                file_path = save_dir+'{0}.{1}'.format(str(count), 'jpg')  
                if not os.path.exists(file_path):  #os.path.exists()就是判断括号里的文件是否存在的意思，括号内的可以是文件路径
                    with open(file_path, 'wb') as f:  
                        f.write(response.content) 
                else:
                    print('Already Downloaded', file_path)
        except requests.ConnectionError:
            print('Failed to Save Image')
    
    def main(pageIndex,count):
        json = get_page(pageIndex)   #在这调用了get_page，获取json
        for image in get_images(json):  #在这调用了get_images，这里的image是{'image': image,'title': title}这种形式
            save_image(image, count)  #在这调用了save_image，count是数字，用来做图片名字的
            count += 1
        return count
    if __name__=='__main__':
        if not os.path.exists(save_dir):
            os.mkdir(save_dir)
        count=1
        for i in range(1,20): #一次30张图，取20次，就取了600张
            count=main(i,count)
        print('total:',count)

[https_blog.csdn.net_mingzhiqing_article_details_82778954]: https://blog.csdn.net/mingzhiqing/article/details/82778954