【NodeJS】爬虫之cheerio抓取网页数据

ゝ一纸荒年。 2022-05-27 07:14 519阅读 0赞

记录：及其简单的牛客网讨论区爬虫

源代码：

var express = require('express');
    var superagent = require('superagent');
    var cheerio = require('cheerio');
    var url = require('url');
    var router = express();
    
    var cnodeUrl = 'https://www.nowcoder.com/discuss';
    router.get('/', function(req, res, next) { 
        // 用 superagent 去抓取 https://www.nowcoder.com/discuss 的内容
        superagent.get(cnodeUrl).end(function(err, sres){ 
            // 常规的错误处理
            if(err){
                return next(err);
            }
            // sres.text 里面存储着网页的 html 内容
            var $ = cheerio.load(sres.text);
            var items = [];
            $('.discuss-main').each(function(idx, element){ 
                var $element = $(element);
                items.push({
                    title: $element.find('a').text(),
                    href: $element.find('a').attr('href'),
                    link: url.resolve(cnodeUrl, $element.find('a').attr('href'))
                });
            });
            res.send(items);
        })
    });

目标结构：  
![这里写图片描述][70]  
效果展示：  
![这里写图片描述][70 1]

[70]: /images/20220527/6d1ca00a9a244596ab5f2820f6780fc1.png
[70 1]: /images/20220527/5b6492b2acd542e4a9a1c7dc0c3a0922.png

发表评论取消回复

表情：

评论列表（有 0 条评论，519人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】网页抓取实例之淘宝商品信息抓取

之前我们已经说过网页抓取的相关内容上次我们是以亚马逊某网页的产品为例抓取价格、品牌、型号、样式等 ![图片][0da7473d5807d054c62f8d8983b8

小鱼儿/ 2024年02月19日 11:23/ 0 赞/ 83 阅读

相关动态网页数据抓取

动态网页数据抓取一、网页 1.传统网页：如果需要更新内容，则需要重新加载网页。 2.动态网页：使用AJAX则不需要加载更新整个网页，实现部分内容更新。

心已赠人/ 2023年06月13日 09:29/ 0 赞/ 158 阅读

相关 java爬虫抓取简单网页数据_简单的java爬虫抓取网页实现代码

import java.io.IOException; import java.util.LinkedList; import java.util.List; impor

忘是亡心i/ 2022年11月09日 12:49/ 0 赞/ 339 阅读

相关网页抓取：PHP实现网页爬虫方式小结

来源：[http://www.ido321.com/1158.html][http_www.ido321.com_1158.html] [![Center][]][

柔情只为你懂/ 2022年08月13日 17:37/ 0 赞/ 294 阅读

相关网络爬虫之网页抓取

说到网页抓取，往往有两个点是不得不说的，首先是网页编码的识别，另外一个是对网页脚本运行的支持，除此之外，是否支持以POST方式提交请求和支持自动的cookie管理也是很多人所关

逃离我推掉我的手/ 2022年06月09日 11:49/ 0 赞/ 305 阅读

相关【NodeJS】爬虫之cheerio抓取网页数据

记录：及其简单的牛客网讨论区爬虫源代码： var express = require('express'); var superagent = requi

ゝ一纸荒年。/ 2022年05月27日 07:14/ 0 赞/ 520 阅读

相关【nodeJs】用cheerio写一个爬虫吧

爬取Cnode社区的文章用到的模块：express cheerio superagent superagent([http://visionmedia.gi

本是古典何须时尚/ 2022年05月24日 12:40/ 0 赞/ 257 阅读

相关【nodeJs】cheerio

cheerio是什么？ cheerio([https://github.com/cheeriojs/cheerio][https_github.com_cheeriojs

╰+攻爆jí腚メ/ 2022年05月24日 12:40/ 0 赞/ 201 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 300 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 394 阅读