node中使用superagent、cheerio进行爬虫

布满荆棘的人生 2022-09-09 10:58 139阅读 0赞

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上的内容爬下来，放到我自己的app里面进行显示呢？

哈哈大家都这样！

ok，立马来开干。

首先我们创建一个express应用

express

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16][]

接下来用vscode进行打开，并且安装以下插件

npm install --save cheerio superagent

然后打开route下面的index.js文件，加入以下代码，执行就可以啦！

var express = require('express');
    var router = express.Router();
    var cheerio = require('cheerio');
    var superagent = require('superagent');
    const fs = require("fs");
    
    router.get('/catch', function (req, res, next) {
      // 用 superagent 去抓取 网站 的内容
      superagent.get('http://xuetangzaixian.com/yundong/index_4.html')
        .end(function (err, sres) {
          // 常规的错误处理
          if (err) {
            return next(err);
          }
          // sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
          // 就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
          // 剩下就都是 jquery 的内容了
          var $ = cheerio.load(sres.text);
          var items = [];
          $('.list ul li').each(function (idx, element) {
            var $element = $(element);
            let divimg = $element.find('.img a')
            let href = 'http://xuetangzaixian.com/' +  divimg.attr('href')
            let title =  divimg.attr('title')
            let img = divimg.find('img').attr('src')
            items.push({
              title: title,
              href: href,
              img:img
            });
          });
    
          res.send(items);
            //读取文件 先把它读到缓存，然后加上新爬取的数据，再一并插入到json文件中
          fs.readFile("article.json", 'utf-8', function(err, data) {
            if (err) {
                
            } else {
                let olddata = JSON.parse(data)
                if(olddata.length>0){
                  olddata = olddata.concat(items)
                }else{
                  olddata = items
                }
                fs.writeFile("article.json", JSON.stringify(olddata), "utf-8", (error) => {
                  //监听错误，如正常输出，则打印null
                  if (error == null) {
                      console.log("恭喜您，数据爬取成功!)");
                  }
                });
            }
           });
          
        });
    });
    
    module.exports = router;

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

这里面，你需要注意的是，你要研究你爬取网站 所需要部分内容的格式。

就是一开始你获取到整个网页的内容，然后你把你需要的列表部分的li读取出来，然后遍历获取它的属性，就可以了。具体查看cheerio 官网 [https://cheerio.js.org/][https_cheerio.js.org]，里面有更详细的介绍

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/83c1e3bb64ad439398119facffef3520.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/8166af2e75c343b5b6d5af69fa4a24e0.png
[https_cheerio.js.org]: https://cheerio.js.org/

发表评论取消回复

表情：

评论列表（有 0 条评论，139人围观）

还没有评论，来说两句吧...

相关阅读

相关如何使用Python进行网络爬虫实践

网络爬虫是利用自动化工具从互联网上抓取信息的过程。在Python中，我们可以使用各种库来实现网络爬虫。以下是几个常用的库和简单步骤： 1. **requests**：用于发送

桃扇骨/ 2024年12月17日 03:57/ 0 赞/ 17 阅读

相关使用Python进行网络爬虫：遇到的爬虫相关问题？

在编写Python网络爬虫时，可能会遇到以下几个常见的问题： 1. **请求头或cookie**：如果网站需要登录才能访问部分信息，你需要模拟登录获取相应的cooki

悠悠/ 2024年12月16日 16:48/ 0 赞/ 10 阅读

相关如何使用python进行爬虫

要使用 Python 进行网络爬虫，首先需要了解以下几个方面的知识： 1. Python 基础知识。Python 是一种通用的编程语言，因此在学习爬虫之前，你需要先了解 P

短命女/ 2024年03月27日 17:54/ 0 赞/ 69 阅读

相关 node-spider：node实践简单的爬虫

一、理解 1.1、爬虫：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。 1.2、Cheerio：Cheerio是nodejs的抓取页面模块

清疚/ 2024年03月26日 13:12/ 0 赞/ 88 阅读

相关如何使用Python进行爬虫开发？

使用Python开发爬虫是非常常见和方便的。以下是一些步骤来使用Python进行爬虫开发： 1. 安装Python：首先，确保你的计算机上安装了Python。你可以从官方网

素颜马尾好姑娘i/ 2024年03月17日 13:39/ 0 赞/ 72 阅读

相关使用 Node.js 中的 `request` 模块进行编程

在 Node.js 中，我们可以使用 `request` 模块来进行 HTTP 请求。`request` 模块提供了一种简单且灵活的方式来与远程服务器进行通信，并获取所需的数据

爱被打了一巴掌/ 2024年02月29日 07:44/ 0 赞/ 15 阅读

相关使用R进行pubmed爬虫

工具 RISmed(library) 中文社区居然没有他的介绍让我匪夷所思,于是乎我做一个简易的介绍吧. 安装 install.packages('R

Love The Way You Lie/ 2023年07月02日 06:26/ 0 赞/ 6 阅读

相关 node中使用superagent、cheerio进行爬虫

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上

布满荆棘的人生/ 2022年09月09日 10:58/ 0 赞/ 140 阅读

相关 node 爬虫

[爬的电影网站][Link 1] 通过异步请求获取到页面资源后再正则选定爬取，正则.exec(内容),只匹配一次, 返回数组,匹配多次需要循环

我不是女神ヾ/ 2021年07月25日 02:54/ 0 赞/ 336 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 395 阅读