【NodeJS】爬虫之使用 eventproxy 控制并发

旧城等待， 2022-05-24 12:09 104阅读 0赞

eventproxy 帮你管理到底这些异步操作是否完成

源代码：

var eventproxy = require('eventproxy');
    var superagent = require('superagent');
    var cheerio = require('cheerio');
    var url = require('url');
    
    var cnodeUrl = 'https://cnodejs.org/';
    
    superagent.get(cnodeUrl)
      .end(function (err, res) { 
        if (err) {
          return console.error(err);
        }
        var topicUrls = [];
        var $ = cheerio.load(res.text);
        $('#topic_list .topic_title').each(function (idx, element) { 
          var $element = $(element);
          var href = url.resolve(cnodeUrl, $element.attr('href'));
          topicUrls.push(href);
        });
    
        var ep = new eventproxy();
    
        ep.after('topic_html', topicUrls.length, function (topics) { 
          topics = topics.map(function (topicPair) { 
            var topicUrl = topicPair[0];
            var topicHtml = topicPair[1];
            var $ = cheerio.load(topicHtml);
            return ({
              title: $('.topic_full_title').text().trim(),
              href: topicUrl,
              comment1: $('.reply_content').eq(0).text().trim(),
            });
          });
    
          console.log('final:');
          console.log(topics);
        });
    
        topicUrls.forEach(function (topicUrl) { 
          superagent.get(topicUrl)
            .end(function (err, res) { 
              console.log('fetch ' + topicUrl + ' successful');
              ep.emit('topic_html', [topicUrl, res.text]);
            });
        });
      });

效果演示图：  
![这里写图片描述][70]

[70]: /images/20220524/7ddb1d60a514441baa3e46cf4a8e5251.png

发表评论取消回复

表情：

评论列表（有 0 条评论，104人围观）

还没有评论，来说两句吧...

相关阅读

相关理解并发控制工具Java Concurrency API？

Java Concurrency API (JCA)是Java平台的一部分，用于处理多线程和并发编程中的问题。JCA提供了一套标准的接口和类，使得开发者能够编写更一致、可扩展性

左手的ㄟ右手/ 2024年09月21日 13:48/ 0 赞/ 65 阅读

相关理解并发控制：Java的synchronized关键字使用示例

并发控制是编程中的一个重要概念，尤其是在多线程环境下。Java提供了synchronized关键字来实现对共享资源的并发控制。 synchronized关键字主要有以下两种用

た入场券/ 2024年09月12日 07:33/ 0 赞/ 70 阅读

相关 Golang--channel+waitGroup控制并发量

文章目录 channel+waitGroup控制并发量前言示例 channel+waitGroup控制并发量前言

雨点打透心脏的1/2处/ 2024年02月25日 04:06/ 0 赞/ 17 阅读

相关 JMeter 控制并发数

文章目录一、误区二、正确设置 JMeter 的并发数总结 -------------------- > 没用过 JMeter 的同学，可以先过

àì夳堔傛蜴生んèń/ 2023年10月08日 19:03/ 0 赞/ 45 阅读

相关控制并发阶段性任务的改变

控制并发阶段性任务的改变 Phaser 类提供每次phaser改变阶段都会执行的方法。它是 onAdvance() 方法。它接收2个参数：当前阶段数和注册的参与者数；它返

快来打我*/ 2022年09月23日 10:51/ 0 赞/ 159 阅读

相关【NodeJS】爬虫之使用 eventproxy 控制并发

eventproxy 帮你管理到底这些异步操作是否完成源代码： var eventproxy = require('eventproxy'); var s

旧城等待，/ 2022年05月24日 12:09/ 0 赞/ 105 阅读

相关 nodeJs 爬虫

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。 2、安装需要的模块：request、cheerio

约定不等于承诺〃/ 2022年04月15日 05:16/ 0 赞/ 265 阅读

相关 Java控制并发之——volatile关键字

控制并发的三大要素：可见性、原子性、有序性。那么volatile就是控制元素的可见性下面介绍线程读取量变的过程 ![在这里插入图片描述][watermark_type

痛定思痛。/ 2022年04月10日 04:26/ 0 赞/ 252 阅读

相关 Semaphore Java控制并发

前有CountDownLatch模拟并发[https://blog.csdn.net/weixin\_38336658/article/details/81624539][ht

川长思鸟来/ 2022年04月05日 09:50/ 0 赞/ 284 阅读

相关 go 通过 channel 控制并发任务

package main import "fmt" func main() { workChan := m

╰+攻爆jí腚メ/ 2021年12月20日 06:25/ 0 赞/ 207 阅读