python爬虫爬取图片必应&百度（仅供学习）

柔情只为你懂 2024-04-23 20:24 70阅读 0赞

## 简介 ##

分别在 必应 和 百度 中爬取图片的代码，只需要将搜索关键字改成你需要爬取的关键字即可复用

## 在必应中爬取图片 ##

话不多说，先上代码

import requests
    from bs4 import BeautifulSoup
    import os
    
    def get_image_urls(query, num_images,j):
        url = f"https://www.bing.com/images/async?q={query}&first={j}&count={num_images}"
        response = requests.get(url)
        soup = BeautifulSoup(response.text, "html.parser")
        image_tags = soup.find_all("img", class_="mimg")
        filtered_image_tags = [img for img in image_tags if "vimgld" not in img["class"]]
        image_urls = [img["src"] for img in filtered_image_tags]
        return image_urls
    
    def download_images(image_urls, save_dir,j):
        if not os.path.exists(save_dir):
            os.makedirs(save_dir)
    
        for i, url in enumerate(image_urls):
            response = requests.get(url)
            with open(f"{save_dir}/image_{j}_{i}.jpg", "wb") as f:
                f.write(response.content)
    
    if __name__ == "__main__":
        query = "皮卡丘"
        num_images = 10
        save_dir = "皮卡丘图片"
        for j in range(999):
            image_urls = get_image_urls(query, num_images ,j)
            download_images(image_urls, save_dir,j)

在以上代码中，我们的URL是

url = f"https://www.bing.com/images/async?q={query}&first={j}&count={num_images}"

在浏览器中搜索一下，可以发现q代表搜索关键词，first是页数，count是每页多少张图片因此我们

代码中定义query = "皮卡丘" num\_images = 10 然后 写一个for循环，给first=\{j\}赋值

![8d807baafcae450d98dc3b73e6d1d891.png][]

因为在代码运行中发现一部分图片class=“mimg vimgld” 是受保护的，我们获取这些图片的话会报错，所以使用代码

filtered_image_tags = [img for img in image_tags if "vimgld" not in img["class"]]

将他们排除掉

![bf292acf0cfd4dfaa382faa09edcba0c.png][]

然后就可以保存我们的图片了，save\_dir的值就是设置我们保存图片的文件夹，我这里设置成皮卡丘图片，然后运行项目，该项目的根目录下就会创建一个文件夹，爬取到的图片都会存储在这个文件夹中

![3925b08c0ad64967aae87fbdafdbba72.png][]

## 在百度中爬虫图片 ##

先上代码

import re, requests, time  # 导入所需要的库
    
    headers = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Mobile Safari/537.36",
        "Cookie": "BAIDUID=229A18B7534A5CEA671381D45FCDC530:FG=1; BIDUPSID=229A18B7534A5CEA671381D45FCDC530; PSTM=1592693385; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; userFrom=null; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; H_WISE_SIDS=149389_148867_148211_149537_146732_138426_150175_147527_145599_148186_147715_149253_150045_149280_145607_148660_146055_110085; delPer=0; BDORZ=AE84CDB3A529C0F8A2B9DCDD1D18B695; ysm=10315; IMG_WH=626_611; __bsi=8556698095607456048_00_14_R_R_17_0303_c02f_Y",
    }
    name = "皮卡丘"  # 搜索图片的关键字
    file = "皮卡丘图片2"  # 存储图片的文件夹
    detail_urls = []  # 存储图片地址
    for i in range(1, 400, 20):  # 20页一张
        url = 'http://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=&st=-1&fm=result&fr=&sf=1&fmq=1592804203005_R&pv=&ic=&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&ctd=1592804203008%5E00_1328X727&sid=&word={}&pn={}'.format(
            name, i)  # 请求的地址
        response = requests.get(url, headers, timeout=(3, 7))  # 设置请求超时时间3-7秒
        content = response.content.decode('utf-8')  # 使用utf-8进行解码
        detail_url = re.findall('"objURL":"(.*?)"', content, re.DOTALL)  # re.DOTALL忽略格式#匹配objURL的内容,大部分为objURL或URL
        detail_urls.append(detail_url)  # 将获取到的图片地址保存在之前定义的列表中
        response = requests.get(url, headers=headers)  # 请求网站
        content = response.content
    
    b = 0  # 图片第几张
    for page in detail_urls:
        for url in page:
            try:
                response = requests.get(url, headers=headers)
                content = response.content
                if url[-3:] == 'jpg':
                    with open('{}\{}{}.jpg'.format(file, name, b), 'wb') as f:
                        f.write(content)
                elif url[-4:] == 'jpeg':
                    with open('{}\{}{}.jpeg'.format(file, name, b), 'wb') as f:
                        f.write(content)
                elif url[-3:] == 'png':
                    with open('{}\{}{}.pon'.format(file, name, b), 'wb') as f:
                        f.write(content)
                else:
                    continue
    
            except:
                print('超时')
            b += 1
            print('获取到第{}张图片'.format(b))

许多网站有能力识别非正常浏览器的访问行为。如果一个请求看起来像是来自爬虫而非浏览器，服务器可能会拒绝这个请求，返回403错误响应码。通过在headers中模拟浏览器的用户代理（User-Agent），可以让请求看起来像是来自真实的浏览器，从而避免被网站的反爬机制拦截

打开浏览器，按下F12在请求头，搜索任意图片，找到第一条http请求，我们找到User-Agent:和Cookie:然后将上面代码中的 headers=\{ \}中的内容替换成你自己的

![3118d66b01e8421c82caf64ec29954c1.png][]

name变量即是你在搜索框输入的内容，然后file就是爬到的图片保存的路径，执行代码后会根据你设置的file在根目录创建文件夹存放爬取的图片

![35ebef24271b4c9fb2a055538c925480.png][]

[8d807baafcae450d98dc3b73e6d1d891.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/4b30dc33e10640088a7e5eca3aea05f9.png
[bf292acf0cfd4dfaa382faa09edcba0c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/760aa10d486742f99404413f45362e4e.png
[3925b08c0ad64967aae87fbdafdbba72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/3edf1343eba144f8ad8fe819f2299c08.png
[3118d66b01e8421c82caf64ec29954c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/3fd888889c1143fc972a3a38de93aa26.png
[35ebef24271b4c9fb2a055538c925480.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/da5e01ccd72d4ae3b1fa9cbe797b4c23.png