Node.js爬虫，爬取一个网站，并下载所有图片

待我称王封你为后i 2022-03-18 08:58 233阅读 0赞

这里用 ‘去哪网’ 为例：  
首先，我们的目标是：  
1.爬取一个网站  
2.将网站的所有图片下载到本地  
注释比较清楚了，大家可以直接复制使用；

const request = require('request')
    const fs = require('fs')
    const cheerio = require('cheerio')
    request('https://www.qunar.com', function (error, response, body) {
        console.log('error:', error); // 错误优先
        console.log('statusCode:', response && response.statusCode); // Print the response status code if a response was received
        //   fs.writeFileSync('./qn.html',body,'utf8')
        //获取爬取网站的页面信息
        const $ = cheerio.load(body)
        let imgs = []
        //目标网站图片链接地址数组
        // 用正则判断数组中的路径是否存在https
        var _ = /(http[s]?|ftp)/;
        $('img').each((i, e) => {  // 遍历所有
            var src = $(e).attr('src');
    
            if (!_.test(src)) {
                src = src.replace(/\/{2}/, 'https://') //因为有些图片不可下载，所以用正则判断一下
            }
            imgs.push(src)
        })
        // 下载数组里的图片
        for (let index = 0; index < imgs.length; index++) {
            if (imgs[index].indexOf('http') !== -1) {
                request(imgs[index]).pipe(fs.createWriteStream(`./img/${index}.png`)) //这里为了省事，我就直接用下标命名了；
            }
        }
    });

成功实例:![在这里插入图片描述][20190220131621988.jpg]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDU5NzQy_size_16_color_FFFFFF_t_70]

[20190220131621988.jpg]: /images/20220318/2c5d78f5794244bc8999ea356c53cf0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDU5NzQy_size_16_color_FFFFFF_t_70]: /images/20220318/b6a78825bd164188b9ba5b34527e375a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，233人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫爬取视频网站视频并下载

在 Python 中爬取视频网站并下载视频通常需要以下几步： 1. 使用爬虫框架(例如 Scrapy、Beautiful Soup 或 Selenium)对视频网站进行爬取

╰半橙微兮°/ 2024年03月25日 18:12/ 0 赞/ 85 阅读

相关利用爬虫爬取图片并保存

1 问题在工作中，有时会遇到需要相当多的图片资源，可是如何才能在短时间内获得大量的图片资源呢？ 2 方法我们知道，网页中每一张图片都是一个连接，所以我们提出利用爬虫爬

拼搏现实的明天。/ 2024年03月23日 20:36/ 0 赞/ 138 阅读

相关生成一个自动爬取某个网站所有图片的爬虫

编写一个爬虫来自动爬取某个网站的图片需要使用编程语言和爬虫框架。下面是用 Python 编写的示例代码，使用了 BeautifulSoup 库和 Requests 库。

末蓝、/ 2023年09月29日 22:48/ 0 赞/ 28 阅读

相关 Java爬取网站的所有图片链接

文章目录一、准备二、引入依赖三、源代码一、准备 jsoup是一个用于处理真实世界 HTML 的 Java 库。

「爱情、让人受尽委屈。」/ 2022年09月06日 14:27/ 0 赞/ 230 阅读

相关 Python爬虫——爬取网站的图片

爬虫这东西最早出现在我大学计算机网络的课程上面，我们当时的老师人很好，期末不笔试，他说这东西笔试没什么用，对于一个年纪比较大的老师来讲，能提出这种方式，实在难得。当时在考虑

比眉伴天荒/ 2022年08月10日 09:28/ 0 赞/ 449 阅读

相关 nodejs爬虫----爬取煎蛋网美女图片

这是一个很简单的爬虫，主要是爬取简单妹子图 ![这里写图片描述][SouthEast] 不跟你多BB，马上上车…, 你需要先安装好nodejs，npm,最好能有淘宝

￡神魔★判官ぃ/ 2022年07月13日 12:20/ 0 赞/ 289 阅读

相关 Python爬虫(1)------爬取网站图片

初学爬虫的学习流程环境 python 3.6 使用 urlib库进行爬取内容熟悉爬虫首先对百度进行爬取 -- coding: utf-8

刺骨的言语ヽ痛彻心扉/ 2022年05月25日 00:49/ 0 赞/ 403 阅读

相关 Python 使用scrapy爬虫框架爬取图片下载并保存本地

Scrapy官方文档:[http://scrapy-chs.readthedocs.io/zh\_CN/latest/index.html][http_scrapy-chs.

柔光的暖阳◎/ 2022年05月17日 01:35/ 0 赞/ 439 阅读

相关 Node.js爬虫，爬取一个网站，并下载所有图片

这里用 ‘去哪网’ 为例：首先，我们的目标是： 1.爬取一个网站 2.将网站的所有图片下载到本地注释比较清楚了，大家可以直接复制使用； const

待我称王封你为后i/ 2022年03月18日 08:58/ 0 赞/ 234 阅读

相关 python +requests 爬虫-爬取图片并进行下载到本地

因为写12306抢票脚本需要用到爬虫技术下载验证码并进行定位点击所以这章主要讲解，爬虫，从网页上爬取图片并进行下载到本地爬虫实现方式： 1.首先选取你需要的抓

向右看齐/ 2021年11月11日 02:14/ 0 赞/ 416 阅读