nodejs爬虫----爬取煎蛋网美女图片

￡神魔★判官ぃ 2022-07-13 12:20 272阅读 0赞

这是一个很简单的爬虫，主要是爬取简单妹子图  
![这里写图片描述][SouthEast]

### 不跟你多BB，马上上车…, ###

你需要先安装好nodejs，npm,最好能有淘宝镜像cnpm

负责响应网络请求的request模块

npm install request

负责对抓取的数据进行处理的cheerio

npm install cheerio

负责下载图片的fs模块

npm install fs

负责格式化图片名称的模块path

npm install path

负责处理异步并发的模块async

npm install  async

先看总体效果  
![这里写图片描述][SouthEast 1]

![这里写图片描述][SouthEast 2]

var request = require('request');
    var cheerio = require('cheerio');
    var path = require('path');
    var fs = require('fs');
    var async = require('async');
    
    var options = [];  //用于存储网址链接的数组
    var n=0;
    
    
    //先生称图片地址链接的数组
    for (var i = 1319; i <1329; i++) {
        var obj = {
            url: 'http://jandan.net/ooxx/page-' + i,
            headers:{
                'User-Agent': 'request'
            }
        }
        options.push(obj);
    }
    
    
    //用来处理这个调用逻辑的总函数
    function all(err, res, body) { 
        var $ = cheerio.load(body);
        n=n+$(".commentlist img").length;
        console.log(n);
        $(".commentlist img").each(function (i, ele) { 
            var imgsrc = 'http:' + $(this).attr('src');
            var fileName = FileName(imgsrc.toString());
            //下载文件操作
            downloadImg(imgsrc, fileName, function () { 
                console.log(fileName + 'upload 完成');
            });
        })
    }
    //格式化图片名称
    function FileName(url) { 
        var fileName = path.basename(url);
        return fileName;
    }
    //利用fs模块download图片
    function downloadImg(url, filename, callback) { 
        var stream = fs.createWriteStream('images/' + filename);
        request(url).on('error',function(){ 
            console.log('done no');
        }).pipe(stream).on('close', callback);
    }
    
    
    
    //利用async的mapLimit方法实现限定并发数为3的调用
    async.mapLimit(options,3, function (option, callback) { 
        request(option, all);
        callback(null);
    }, function (err, result) { 
        if (err) {
            console.log(err);
        } else {
            // console.log(result);
            console.log('全部检索完毕');
        }
    })

[SouthEast]: /images/20220713/b82e2fa91b12400980963e2dfa17e19a.png
[SouthEast 1]: /images/20220713/f24e5e35e4d44aeaae23f7081217abd7.png
[SouthEast 2]: /images/20220713/2f2394723e6b4efdac6786258f38ab16.png

发表评论取消回复

表情：

评论列表（有 0 条评论，272人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】花瓣网爬取美女图片

代码1 /usr/bin/env python coding:utf-8 import json import urllib.r

╰+攻爆jí腚メ/ 2022年12月21日 06:04/ 0 赞/ 293 阅读

相关如何用爬虫爬取4K美女图片

一、首先先加载必要的库 -- coding: UTF-8 -- import requests from random import choic

柔情只为你懂/ 2022年11月03日 05:28/ 0 赞/ 258 阅读

相关微型计算机煎蛋网,煎蛋网 No.4950004

Sak 发布于贫乏食物志 1.有一年过生日，妈妈拿了电饭锅里的蒸屉，去街上给我做了个8块钱的生日\[em\]e400171\[/em\]，至于为什么是蒸屉，是因为能省下包

朴灿烈づ我的快乐病毒、/ 2022年10月10日 11:18/ 0 赞/ 39 阅读

相关 java爬取美女图片

java爬取美女图片 1. 爬取概述 2. 实现验证 HttpClientUtils PipelineImage Re

墨蓝/ 2022年09月11日 00:03/ 0 赞/ 267 阅读

相关 nodejs爬虫----爬取煎蛋网美女图片

这是一个很简单的爬虫，主要是爬取简单妹子图 ![这里写图片描述][SouthEast] 不跟你多BB，马上上车…, 你需要先安装好nodejs，npm,最好能有淘宝

￡神魔★判官ぃ/ 2022年07月13日 12:20/ 0 赞/ 273 阅读

相关 Python爬虫实战(四) :下载煎蛋网所有妹子照片

煎蛋网是一个适合开车的网站，各种妹子福利图片。网站:http://jandan.net/ooxx 里面有两种格式的图片:gif和jpg，写个程序将所有页面的妹子图全部下载

水深无声/ 2022年06月09日 11:22/ 0 赞/ 214 阅读

相关爬取美女图片(python源码)

使用requests库 + 网页分析 import requests 爬取美女图片 url = "http://m.mm131.com/xingg

素颜马尾好姑娘i/ 2022年06月06日 00:27/ 0 赞/ 291 阅读

相关使用Python爬虫爬取网络美女图片

> 代码地址如下： > [http://www.demodashi.com/demo/13500.html][http_www.demodashi.com_demo_135

忘是亡心i/ 2022年05月11日 01:48/ 0 赞/ 317 阅读

相关 python爬虫利用requests和BeautifulSoup爬取美女图片

今天给大家分享一篇利用python爬取美女图片的文章环境准备开发环境：Windows 7 开发工具：Pycharm python版本：python3.7 第三

迈不过友情╰/ 2022年01月25日 16:31/ 0 赞/ 354 阅读

相关 python爬虫爬取彼岸图网图片

python爬虫爬取彼岸图网图片话不多说，直接上代码！ import requests from PIL import Image from

超、凢脫俗/ 2021年07月26日 16:43/ 0 赞/ 647 阅读