nodejs爬网页图片

ゝ一纸荒年。 2022-05-15 14:42 228阅读 0赞

参考链接：[https://segmentfault.com/a/1190000012412007][https_segmentfault.com_a_1190000012412007]

该示例通过nodejs爬取网页图片  
相关模块：  
nodejs核心模块  
https fs  
第三方模块  
cheerio  
类似jquery写法获取所得页面dom元素  
request  
发送request请求  
原理流程：

1.  先向服务器发送请求，获取到网页的html
2.  对网页html做处理，获取到标题的文本和图片的src中的url
3.  再发送请求，请求图片的url，通过流的方式写到本地目录中

var http = require('https'); //使用https模块
    var fs = require('fs');//文件读写
    var cheerio = require('cheerio');//jquery写法获取所得页面dom元素
    var request = require('request');//发送request请求
    var i = 0;
    var url = "https://movie.douban.com/subject/1889243/?from=subject-page";
    //初始url 
    function fetchPage(x) { //封装一层函数,方便递归调用
        startRequest(x);
    }
    
    function startRequest(x) {
        //采用http模块向服务器发起一次get请求      
        http.get(x, function(res) { //get到x网址，成功执行回调函数
            var html = ''; //用来存储请求网页的整个html内容
            res.setEncoding('utf-8'); //防止中文乱码
            //监听data事件，每次取一块数据
            res.on('data', function(chunk) {
                html += chunk;
            });
            //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数
            res.on('end', function() {
                var $ = cheerio.load(html); //采用cheerio模块解析html
                console.log($);
                
                var news_item = {
                    //获取电影的标题
                    title: $('.related-info h2 i').text().trim(),
                    //i是用来判断获取页数
                    i: i = i + 1,
    
                };
    
                console.log(news_item); //打印新闻信息
                var news_title = $('.related-info h2 i').text().trim();
    
                savedContent($, news_title); //存储每篇文章的内容及文章标题
    
                savedImg($, news_title); //存储每篇文章的图片及图片标题
    
                //下一篇电影的url
                nextLink = $(".recommendations-bd dl:last-child dd a").attr('href');
                if(i <= 10) { //爬取10页
                    fetchPage(nextLink);
                }
            });
    
        }).on('error', function(err) { //http模块的on data,on end ,on error事件
            console.log(err);
        });
    
    }
    //存储标题函数
    function savedContent($, news_title) {
        $('#link-report span').each(function(index, item) {
            var x = $(this).text();
            x = x + '\n';
            //将新闻文本内容一段一段添加到/data文件夹下，并用新闻的标题来命名文件
            fs.appendFile('./data/' + news_title + '.txt', x, 'utf-8', function(err) {
                if(err) {
                    console.log(err);
                }
            });
        })
    }
    //该函数的作用：在本地存储所爬取到的图片资源
    function savedImg($, news_title) {
        $('#mainpic img').each(function(index, item) {
            var img_title = $('#content h1 span').text().trim(); //获取图片的标题
            if(img_title.length > 35 || img_title == "") { //图片标题太长
                img_title = "Null";
            }
            var img_filename = img_title + '.jpg';
            var img_src = $(this).attr('src'); //获取图片的url
            console.log(img_src);
            
    
            //采用request模块，向服务器发起一次请求，获取图片资源
            request(img_src).pipe(fs.createWriteStream('./image/' + news_title + '---' + img_filename));
            //通过流的方式，把图片写到本地/image目录下，并用标题和图片的标题作为图片的名称。
        })
    }
    fetchPage(url); //主程序开始运行

[https_segmentfault.com_a_1190000012412007]: https://segmentfault.com/a/1190000012412007

发表评论取消回复

表情：

评论列表（有 0 条评论，228人围观）

还没有评论，来说两句吧...

相关阅读

相关 python 网页爬虫，下载网络图片

coding=utf-8 import lxml,bs4,re,requests csvContent='' f

落日映苍穹つ/ 2023年06月03日 05:57/ 0 赞/ 17 阅读

相关 java 爬取网页内容。标题、图片等

package com.fh.util; import java.io.BufferedReader; import java.io.IOEx

绝地灬酷狼/ 2022年09月12日 10:49/ 0 赞/ 249 阅读

相关 nodejs爬网页图片

参考链接：[https://segmentfault.com/a/1190000012412007][https_segmentfault.com_a_119000001241

ゝ一纸荒年。/ 2022年05月15日 14:42/ 0 赞/ 229 阅读

相关 node：爬虫爬取网页图片

> 代码地址如下： > [http://www.demodashi.com/demo/13845.html][http_www.demodashi.com_demo_138

素颜马尾好姑娘i/ 2022年05月11日 04:36/ 0 赞/ 359 阅读

相关 Python爬取网页的图片数据

本案例是基于PyCharm开发的，也可以使用idea。 [在项目内新建一个python文件TestCrawlers.py][python_TestCrawlers.py]

你的名字/ 2022年04月18日 06:29/ 0 赞/ 337 阅读

相关 python爬虫程序，爬取网页图片

一段简单的爬取网页图片的python代码 coding=utf-8 import urllib import re url

- 日理万妓/ 2022年04月04日 15:14/ 0 赞/ 398 阅读

相关 python爬取网页文本、图片

从网页爬取文本信息： eg:从[http://computer.swu.edu.cn/s/computer/kxyj2xsky/][http_computer.swu.

蔚落/ 2021年12月10日 07:37/ 0 赞/ 464 阅读

相关 nodejs爬取网页乱码解决方法

var req = https.request(options, function (res) { res.setEncoding('

秒速五厘米/ 2021年10月23日 23:22/ 0 赞/ 438 阅读

相关 Python3.x爬虫教程：爬网页、爬图片、自动登录

[林炳文Evankaka][Evankaka]原创作品。转载请注明出处 [http://blog.csdn.net/evankaka][Evankaka] 摘要：本

女爷i/ 2021年09月10日 13:30/ 0 赞/ 347 阅读

相关爬取网页图片

下载表情包吧指定网页的所有图片 #coding:utf-8 import urllib.request import urllib.parse import urlli...

系统管理员/ 2021年05月03日 05:44/ 0 赞/ 680 阅读