node 爬虫

我不是女神ヾ 2021-07-25 02:54 335阅读 0赞

[爬的电影网站][Link 1]

通过异步请求获取到页面资源后再正则选定爬取，正则.exec(内容),只匹配一次,
    返回数组,匹配多次需要循环
    
    正则爬取分类栏a标签href->正则匹配每个页面中的电影链接，再根据传入的
    分类栏href，遍历href获取所有分类栏电影链接->正则匹配电影详情需要的内容,遍历电影链接,获得所有电影内容

**代码示例:**

let url=require('url')
    let axios =require('axios')
    let { fsWrite,fsDir}=require('./fsR')
    
    let http='https://www.1905.com/vod/list/n_1_t_1/o3p1.html';
    //获取起始页面的所有分类地址
    async function getClassUrl(){ 
    	let res=await req(http);
    	//解析html内容
    	let reg=/<span class="search-index-L">类型(.*?)<div class="grid-12x">/igs
    	//获得包含a标签的内容
    	let results=reg.exec(res)[1];
    	//获得a标签中的地址
    	let reg1=/<a href="javascript:void\(0\);" onclick="location\.href='(.*?)';return false;" >(.*?)<\/a>/igs
    
    	let arrClass=[];
    	let end;
    	//循环exec()获取类名和a标签的href
    	while(end=reg1.exec(results)){ 
    		if(end[2]!='全部'){ 
    			let obj={ 
    			className:end[2],
    			url:end[1]
    			}
    			arrClass.push(obj);
    
    			await fsDir("C:/Users/10853/Desktop/movie/"+end[2])
    			getMovies(end[1],end[2])
    
    		}
    	}
    	//console.log(arrClass);
    }
    
    getClassUrl();
    
    //通过分类获取页面中的电影链接
    async function getMovies(url,movieType){ 
    	let data=await req(url);
    	//获取电影详情a标签href
    	let reg=/<a class="pic-pack-outer" target="_blank" href="(.*?)" .*?><img/igs
    
    	let res;
    	let arrList=[]
    	while(res=reg.exec(data)){ 
    
    
    		arrList.push(res[1]);
    		parsePage(res[1],movieType);
    	}
    	// console.log('分类:',movieType)
    	// console.log(arrList);
    }
    
    //获取电影链接后,获取电影详情
    async function parsePage(url,movieType){ 
    	let data=await req(url);
    
    
    	let end=/<h1 class="playerBox-info-name playerBox-info-cnName">(.*?)<\/h1>.*?id="playerBoxIntroCon">(.*?)<a.*?导演.*?target="_blank" title="(.*?)" data-hrefexp/igs
    
        let res=end.exec(data);
        console.log(res[3]);
    
        if(res[1]!=null&&res[2]!=null&&res[3]!=null)
        { 
        	let movie={ 
        	  	name:res[1],
        	  	brief:res[2],
        	  	director:res[3],
        	  	movieUrl:url,
        	  	movieType:movieType
    
        	}
        	let strMovie=JSON.stringify(movie);
        	fsWrite("C:/Users/10853/Desktop/movie/"+movieType+'/'+res[1]+'.json', strMovie);
        }
    
    }
    
    
    function req(url){ 
    	return new Promise(function(resolve,reject){ 
    		axios.get(url).then((res)=>{ 
    			resolve(res.data);
    		})
    	})
    }
    
    //监听爬取过程进程错误
    process.on('unhandledRejection', (reason, promise) => { 
      console.log('Unhandled Rejection:', reason)
      // 在这里处理
    })

**写入文件:**

let fs=require('fs')
    
    function fsWrite(url,content){ 
    	return new Promise(function(resolve,reject){ 
    		fs.writeFile(url,content,{ flag:'a',encoding:'utf-8'},function(err){ 
    			if(err){ 
    				reject(err);
    			}else{ 
    
    				resolve('ok');
    			}
    		})
    	})
    }
    
    function fsDir(path){ 
    	return new Promise(function(resolve,reject){ 
    		fs.mkdir(path,function(err){ 
    			if(err){ 
    				reject(err);
    			}else{ 
    
    				resolve('ok目录');
    			}
    		})
    	})
    }
    module.exports={ 
    	fsWrite:fsWrite,
    	fsDir:fsDir
    }

[Link 1]: https://www.1905.com/vod/list/n_1_t_1/o3p1.html

发表评论取消回复

表情：

评论列表（有 0 条评论，335人围观）

还没有评论，来说两句吧...

相关阅读

相关 node-spider：node实践简单的爬虫

一、理解 1.1、爬虫：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。 1.2、Cheerio：Cheerio是nodejs的抓取页面模块

清疚/ 2024年03月26日 13:12/ 0 赞/ 88 阅读

相关学习 node爬虫丁香园疫情

前提准备：你需要 : cnpm i 安装这些包 package.json { "name": "test", "version

电玩女神/ 2023年07月18日 14:17/ 0 赞/ 10 阅读

相关 Node.js 实现简易爬虫

为什么选择利用node来写爬虫呢？就是因为cheerio这个库，全兼容jQuery语法，熟悉的话用起来真真是爽依赖选择 [cheerio][]： Node.js

￡神魔★判官ぃ/ 2022年09月30日 12:52/ 0 赞/ 182 阅读

相关 Node.js 笔记四：简单爬虫

转载自：http://www.jianshu.com/p/f39e8b71f4c4 [Python 笔记七：Requests爬虫技巧][Python _Requests]讲解

深藏阁楼爱情的钟/ 2022年07月10日 04:56/ 0 赞/ 132 阅读

相关 node爬虫进阶之——登录

转载自：http://www.jianshu.com/p/87867f325184 > 在之前的文章[node入门场景之——爬虫][node]已经介绍过最简单的no

小灰灰/ 2022年07月10日 04:55/ 0 赞/ 384 阅读

相关 node.js之爬虫实现

> 数据引用慕课网 const http = require('http'); const cheerio = require('cheerio');

今天药忘吃喽~/ 2022年05月27日 12:13/ 0 赞/ 159 阅读

相关 node：爬虫爬取网页图片

> 代码地址如下： > [http://www.demodashi.com/demo/13845.html][http_www.demodashi.com_demo_138

素颜马尾好姑娘i/ 2022年05月11日 04:36/ 0 赞/ 359 阅读

相关 Node.js简单实现爬虫

在实现Node.js获取数据之前，先要了解什么是爬虫。什么是爬虫使用数据请求一段内容，然后将这段内容做数据清洗，最后在通过后端服务器发送到前台页面。安装che

深碍√TFBOYSˉ_/ 2022年01月31日 06:19/ 0 赞/ 283 阅读

相关 node 爬虫

[爬的电影网站][Link 1] 通过异步请求获取到页面资源后再正则选定爬取，正则.exec(内容),只匹配一次, 返回数组,匹配多次需要循环

我不是女神ヾ/ 2021年07月25日 02:54/ 0 赞/ 336 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 395 阅读