nodejs 小爬虫（二）

左手的ㄟ右手 2022-06-02 06:48 206阅读 0赞

上一篇是对单一页面的数据，所以只能爬到单一的数据，因为不同的 ID 请求出不同的数据，所以把小爬虫完善一下

**该例子是拿幕课网中的某个页面来进行测试**

这个时候就用到一个 Promise 异步回调模块(作用是把页面一个接一个的请求)，node 版本比较新的就直接 require 进来就可以了，而旧版本的可以下载 bluebird 模块

npm install bluebird

然后require 进来就可以了   var Promise = require('bluebird');

先把要引入的东西引进来

var http = require('http');
    var Promise = require('bluebird');
    var cheerio = require('cheerio');
    var baseUrl  = 'http://www.imooc.com/learn/';  //  http://www.imooc.com/learn/348
    var videosIds = [348,637];

然后用 Promise 异步回调方法把 http.get 请求的包起来，思路是改变 ID 然后一个接一个的请求，Promise 里有一个 all 方法，该方法传进去的是一个数组，每一组就是一个方法，跑完所有的方法会返回一个数组，每组就是每次请求得到的数据

function getPageAsync(url){
    	return new Promise(function(resolve , reject){
    		console.log('正在爬取' + url);
    
    		http.get( url , function(res){
    			var html = '';
    
    			res.on('data', function(data){   //监听 data 事件 ， 这个时候爬的是整个的html代码;
    				html += data;
    			})
    
    			res.on('end', function(res){
    				//console.log(html);   //http跑完后打印出来  ，
    				resolve(html)
    			})
    		}).on('error', function(e){
    			reject(e);
    			console.log('获取失败');
    		})
    	})
    }
    
    
    //把所有的请求的集中来一起
    var fetchCourseArray = [];
    
    videosIds.forEach(function(id){
    	fetchCourseArray.push(getPageAsync(baseUrl + id));
    })
    
    Promise
    	.all(fetchCourseArray)   // all 参数是一个方法的数组，  先把一堆 getPageAsync 请求给做完
    	.then(function(pages){    //用了 all后 pages 是一个数组，每组是每次请求后得到的东西
    		var courseData = [];
    		//console.log(pages)
    		pages.forEach(function(html){
    			var course = filterChapters(html);
    
    			courseData.push(course);
    		})
    		printCourseInfo(courseData)
    	})

filterChapters  方法是把 html数据解析出有用的东西

function filterChapters(html){
    	var $ = cheerio.load(html);  //拿到html 内容，然后就可以用 $('.xx') 来获取元素一样操作
    	var chapter = $(".chapter");
    	/*
    		把有用的数据筛选成这个的结构
    	{
    		title : '',
    		num : '',
    		list : [{
    			chapterTitle : '', //标题
    			videos : [
    				id : '',
    				title : '',
    			]
    		}],
    	}
    	*/
    	var title = $('.course-infos .clearfix h2').text().trim();
    	var courseData = {
    			title : title,
    			list : [],
    		}
    		chapter.each(function(item){
    			var chapter = $(this);
    			var videos = chapter.find('.video').children('li');
    			var chapterTitle = chapter.find('strong').text().trim();
    
    			var list = {
    					chapterTitle : chapterTitle,
    					videos : [],
    				}
    				videos.each(function(item){
    					var video = $(this).find('.J-media-item');
    					var videoTitle = video.text();
    					var id = videos.attr('data-media-id');
    
    						list.videos.push({
    							id : id,
    							title : videoTitle,
    						})
    				})
    
    				courseData.list.push(list);
    		})
    
    		return courseData;
    }

printCourseInfo 方法是打得到的数据打印出来

function printCourseInfo(courseData){
    	courseData.forEach(function(data){
    		var pageTitle = data.title;
    		console.log(pageTitle + '\n');    //页面标题
    		data.list.forEach(function(item){
    			var title = item.chapterTitle;
    			var videos = item.videos;
    				console.log(title + '\n'); //第N章节标题
    
    				videos.forEach(function(video){
    					console.log('【'+video.id+'】' + video.title + '\n');  //内容
    				})
    
    
    		})
    	})	
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，206人围观）

还没有评论，来说两句吧...

相关阅读

相关 nodejs（二）

安装好nodejs后，也写了个简单的应用也OK了，接下来安装npm 1、安装完nodejs后，其实npm已经安装完成，但去执行 npm install expre

小鱼儿/ 2022年07月26日 01:46/ 0 赞/ 170 阅读

相关 nodejs 小爬虫（二）

上一篇是对单一页面的数据，所以只能爬到单一的数据，因为不同的 ID 请求出不同的数据，所以把小爬虫完善一下该例子是拿幕课网中的某个页面来进行测试这个时候就用到一个

左手的ㄟ右手/ 2022年06月02日 06:48/ 0 赞/ 207 阅读

相关 nodejs 小爬虫（一）

这个简单的示例是原理是：用node.js 的 get 请求某个网站，然后拿出网站的所有代码，再进行筛选出有用的信息 1、首先来创建一个 http 服务，然后用http

我就是我/ 2022年06月02日 06:47/ 0 赞/ 198 阅读

相关 nodejs实现拉钩网爬虫

概述通过nodejs+mysql+cheerio+request实现拉钩网特定公司的所有招聘信息的抓取，并将抓取的信息保存到数据库中。抓取内容包括：薪酬福利，工作地，职

灰太狼/ 2022年05月31日 08:21/ 0 赞/ 250 阅读

相关 nodejs-promise实现深度爬虫

> 代码来源慕课网 const http = require('http'); const cheerio = require('cheerio');

冷不防/ 2022年05月27日 13:06/ 0 赞/ 205 阅读

相关 nodeJs 爬虫

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。 2、安装需要的模块：request、cheerio

约定不等于承诺〃/ 2022年04月15日 05:16/ 0 赞/ 265 阅读

相关 Nodejs笔记（二）

\[size=medium\]上篇已经介绍了关于Nodejs的背景，优缺点，下载和安装，本篇来看下如何简单的使用nodejs：（1）执行node -h查看nodejs的命

末蓝、/ 2022年04月11日 04:13/ 0 赞/ 344 阅读

相关 nodejs制作小爬虫

1，安装nodejs 2，安装需要模块 npm install request cheerio 3，新建js文件 4，引入 const reques

待我称王封你为后i/ 2022年03月19日 11:28/ 0 赞/ 274 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 301 阅读

相关 NodeJS基础（二）

模块 ● 在Node.js中，以模块为单位划分所有功能，并且提供了一个完整的模块加载机制，这时的我们可以将应用程序划分为各个不同的部分。不可能用一个js文件去写全部的

落日映苍穹つ/ 2021年09月16日 14:50/ 0 赞/ 395 阅读