node.js之爬虫实现

今天药忘吃喽~ 2022-05-27 12:13 158阅读 0赞

> 数据引用慕课网

const http = require('http');
    const cheerio = require('cheerio');
    let url = 'http://www.imooc.com/learn/348'
    
    
    function filterChapters(html) { 
        let $ = cheerio.load(html)
        let chapters = $('.chapter')
        let courseData = [];
    
        chapters.each(function (item) { 
            let chapter = $(this)
            let chapterTitle = chapter.find('h3').text();
            let videos = chapter.find('ul').children('li')
            let chapterData = {
                chapterTitle:chapterTitle,
                videos:[]
            }
            videos.each(function (item) { 
                let video = $(this).find('.J-media-item')
                let videoTitle = video.text().trim();
                let id = video.attr('href').split('video/')[1]
                chapterData.videos.push({
                    title: videoTitle,
                    id: id
                })
            })
            courseData.push(chapterData)
        })
        return courseData;
    }
    
    function printCourseInfo(courseData) { 
        courseData.forEach(function (item) { 
            let chapterTitle = item.chapterTitle
            console.log(chapterTitle + '\n')
            item.videos.forEach(function (video) { 
                console.log(' 【'+video.id+'】' + video.title + '\n')
            })
        })
    }
    http.get(url,function (res) { 
        let html = ''
        res.on('data',function (data) { 
            html += data;
        })
        res.on('end',function () { 
            let courseData = filterChapters(html)
            printCourseInfo(courseData)
        })
    }).on('error',function () { 
        console.log('获取课程数据出错')
    })

发表评论取消回复

表情：

评论列表（有 0 条评论，158人围观）

还没有评论，来说两句吧...

相关阅读

相关 nodejs 小爬虫（二）

上一篇是对单一页面的数据，所以只能爬到单一的数据，因为不同的 ID 请求出不同的数据，所以把小爬虫完善一下该例子是拿幕课网中的某个页面来进行测试这个时候就用到一个

左手的ㄟ右手/ 2022年06月02日 06:48/ 0 赞/ 206 阅读

相关 nodejs 小爬虫（一）

这个简单的示例是原理是：用node.js 的 get 请求某个网站，然后拿出网站的所有代码，再进行筛选出有用的信息 1、首先来创建一个 http 服务，然后用http

我就是我/ 2022年06月02日 06:47/ 0 赞/ 198 阅读

相关 nodejs实现拉钩网爬虫

概述通过nodejs+mysql+cheerio+request实现拉钩网特定公司的所有招聘信息的抓取，并将抓取的信息保存到数据库中。抓取内容包括：薪酬福利，工作地，职

灰太狼/ 2022年05月31日 08:21/ 0 赞/ 250 阅读

相关 nodejs-promise实现深度爬虫

> 代码来源慕课网 const http = require('http'); const cheerio = require('cheerio');

冷不防/ 2022年05月27日 13:06/ 0 赞/ 204 阅读

相关 node.js之爬虫实现

> 数据引用慕课网 const http = require('http'); const cheerio = require('cheerio');

今天药忘吃喽~/ 2022年05月27日 12:13/ 0 赞/ 159 阅读

相关【NodeJS】爬虫之cheerio抓取网页数据

记录：及其简单的牛客网讨论区爬虫源代码： var express = require('express'); var superagent = requi

ゝ一纸荒年。/ 2022年05月27日 07:14/ 0 赞/ 520 阅读

相关【NodeJS】爬虫之使用 eventproxy 控制并发

eventproxy 帮你管理到底这些异步操作是否完成源代码： var eventproxy = require('eventproxy'); var s

旧城等待，/ 2022年05月24日 12:09/ 0 赞/ 104 阅读

相关 nodeJs 爬虫

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。 2、安装需要的模块：request、cheerio

约定不等于承诺〃/ 2022年04月15日 05:16/ 0 赞/ 265 阅读

相关 nodejs制作小爬虫

1，安装nodejs 2，安装需要模块 npm install request cheerio 3，新建js文件 4，引入 const reques

待我称王封你为后i/ 2022年03月19日 11:28/ 0 赞/ 273 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 300 阅读