用node.js写一个小爬虫, 爬取慕课网免费课程章节信息

悠悠 2022-04-18 04:29 151阅读 0赞

创建一个imooc-crawler.js

var http = require('http')
    var url = 'http://www.imooc.com/learn/348'
    
    http.get(url, function(res) {
    	var html = ''
    
    	res.on('data', function(data) {
    		html += data
    	})
    
    	res.on('end',function() {
    		console.log(html)
    	})
    }).on('error', function() {
    	console,log('获取课程数据出错!')
    })

运行node imooc-crawler.js命令

node imooc-crawler.js

这时我们便将整个页面载入了进来

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h5cGhm_size_16_color_FFFFFF_t_70][]

创建一个crawler.js，我们现在将网页中有效内容整理出来

**安装HTML解析模块cheerio**

**npm install cheerio**

![20181108151309655.png][]

var http = require('http')
    var cheerio = require('cheerio') // 引入HTML解析模块cheerio
    var url = 'http://www.imooc.com/learn/348'
    
    function filterChapters(html) {
    	// 解析HTML代码,我们推荐使用 npm install cheerio
    	
    	// 将html页面装在进来
    	var $ = cheerio.load(html)
    
    	// 获取html中的class类名
    	var chapters = $('.chapter')
    
    	// 声明数据的数组
    	var courseData = []
    
    	// 遍历获取到的列表
    	chapters.each(function(item) {
    		// 遍历以后可以拿到单独的每一章节的数据
    		var chapter = $(this)
    
    		// 获取标题
    		var chapterTitle = chapter.find('h3').text()
    		// 获取每一小节的数据
    		var videos = chapter.find('.video').children('li')
    
    		// 包装章节数据
    		var chapterData = {
    			chapterTitle: chapterTitle,
    			videos: []
    		}
    
    		// 编写每小节数据
    		videos.each(function(item) {
    			var video = $(this).find('a')
    			var videoTitle = video.text();
    			// 获取视频id
    			var id = video.attr('href').split('video/')[1]
    
    			chapterData.videos.push({
    				title: videoTitle,
    				id: id
    			})
    		})
    		courseData.push(chapterData)
    	})
    
    	return courseData;
    }
    
    function printCourseInfo(courseData){
    		courseData.forEach(function(item){
    			var chapterTitle = item.chapterTitle
    
    			console.log(chapterTitle.trim() + '\n')
    			item.videos.forEach(function(video) {
    				console.log('【' + video.id.replace(/[\r\n]/g, "").trim() + '】' + video.title.replace(/\s*/g,"").trim())
    			})
    		})
    }
    
    http.get(url, function(res) {
    	var html = ''
    
    	res.on('data', function(data) {
    		html += data
    	})
    
    	res.on('end',function() {
    		//将html作为一个参数传递给function,在函数内做信息的过滤
    		var courseData =  filterChapters(html)
    
    		printCourseInfo(courseData)
    	})
    }).on('error', function() {
    	console,log('获取课程数据出错!')
    })

运行

node crawler.js

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h5cGhm_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h5cGhm_size_16_color_FFFFFF_t_70]: /images/20220418/1c1a8972032e4d64840401b8498d6a7e.png
[20181108151309655.png]: /images/20220418/f30a5db60de94d9c855080626945cbdd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h5cGhm_size_16_color_FFFFFF_t_70 1]: /images/20220418/be9c550a44c34173a9472aeee9087977.png