爬虫-图像网站下载

冷不防 2022-06-16 00:42 188阅读 0赞

# 爬虫-图像网站下载 #

@(Python)\[python\]

*  爬虫-图像网站下载
    
     *  图像网站下载

## 图像网站下载 ##

> 编写一个程序，访问图像共享网站，如`Flickr`或`Imgur`，查找一个类型的照片，然后下载所有查询结果的图像。可以编写一个程序，访问任何具有查找功能的图像网站。

import os
    import requests
    import bs4
    
    baseUrl = 'https://imgur.com'
    dirName = 'image'
    os.makedirs(dirName, exist_ok=True)
    # 搜索参数
    url = baseUrl + '/search/score?q=' + 'movie'
    response = requests.get(url)
    response.raise_for_status()
    soup = bs4.BeautifulSoup(response.text, "lxml")
    imageUrls = soup.select(".image-list-link img")
    if not imageUrls:
        print('Could not find image.')
    else:
        for imageUrl in imageUrls:
            downloadUrl = imageUrl.get('src')
            print("Download image %s..." % downloadUrl)
            split = downloadUrl.split('/')
            fileName = os.path.basename(split[len(split) - 1])
            filePath = os.path.join(dirName, fileName)
            print("FilePath is %s..." % filePath)
            if not os.path.exists(filePath):
                imageStream = requests.get('https:' + downloadUrl)
                imageStream.raise_for_status()
                imageFile = open(filePath, 'wb')
                for chunk in imageStream.iter_content(100000):
                    imageFile.write(chunk)

发表评论取消回复

表情：

评论列表（有 0 条评论，188人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫爬取视频网站视频并下载

在 Python 中爬取视频网站并下载视频通常需要以下几步： 1. 使用爬虫框架(例如 Scrapy、Beautiful Soup 或 Selenium)对视频网站进行爬取

╰半橙微兮°/ 2024年03月25日 18:12/ 0 赞/ 68 阅读

相关使用Python爬虫下载某网站图片

Python爬虫是一种自动化获取网页数据的技术，可以用于各种数据采集任务。本文将探讨如何使用Python爬虫下载某网站的图片。通过以下几个方面进行详细阐述。一、准备工作

忘是亡心i/ 2024年03月03日 00:46/ 0 赞/ 57 阅读

相关 scrapy爬虫网站数据

scrapy爬虫一.目的 1.数据抓取之网络爬虫 2.scrapy的使用方法，能使用scrapy抓取网页数据。二.能力图谱 ![在这里插入图片描述][

亦凉/ 2023年10月05日 14:43/ 0 赞/ 18 阅读

相关 Python爬虫网站图片并下载到本地

文章目录先看效果 1、环境准备 2、要爬取的网站 3、程序源代码（可直接运行）先看效果 ![在这里插入图

逃离我推掉我的手/ 2022年12月30日 03:40/ 0 赞/ 279 阅读

相关 python爬虫下载小说

from urllib.request import urlopen from urllib import request from bs4 impor

一时失言乱红尘/ 2022年12月04日 09:19/ 0 赞/ 267 阅读

相关 python 网站爬虫下载在线盗墓笔记小说到本地的脚本

最近闲着没事想看小说，找到一个全是南派三叔的小说的网站，决定都下载下来看看，于是动手，在很多QQ群里高手的帮助下（本人正则表达式很烂，程序复杂的正则都是一些高手指导的），花了三

妖狐艹你老母/ 2022年08月13日 06:00/ 0 赞/ 188 阅读

相关爬虫-图像网站下载

爬虫-图像网站下载 @(Python)\[python\] 爬虫-图像网站下载图像网站下载图像网站下载 > 编写一个程序，访问

冷不防/ 2022年06月16日 00:42/ 0 赞/ 189 阅读

相关遥感图像数据下载

1、之前，因为学习需要，在网上找了很久SAR遥感图像数据，这里记录一下找到的图像数据。 SAR图像：TerraSAR-X的图像数据地址：[http://www.intel

淡淡的烟草味﹌/ 2022年06月01日 06:13/ 0 赞/ 266 阅读

相关爬虫(六)网站登录/动态数据抓取/图像识别

使用requests登录github: import requests from bs4 import BeautifulSoup de

r囧r小猫/ 2022年05月23日 11:06/ 0 赞/ 167 阅读

相关爬虫 scrapy图片下载

彼岸网图片下载 img.py -- coding: utf-8 -- import scrapy from imgPro.items

﹏ヽ暗。殇╰゛Y/ 2021年11月01日 02:54/ 0 赞/ 465 阅读