nodejs制作小爬虫

待我称王封你为后i 2022-03-19 11:28 273阅读 0赞

1，安装nodejs

2，安装需要模块

npm install request cheerio

3，新建js文件

4，引入

const request=require("request")  
  const cheerio=require("cheerio")

5利用request模块发送请求

request('http://news.dgut.edu.cn/dgut/xydt/news\_list.shtml',function(err,res)\{  
    if(err)  
    \{  
        console.log('请求出错');  
    \}  
    else  
    \{  
        var $ = cheerio.load(res.body, \{decodeEntities: false\});  
        $('.listList').children('ul').children('li').each(function()\{ //找到li元素对象然后通过each遍历  
            var newsTitle = $(this).children('a').text(); //得到<a>标签的文字  
            var newsTime= $(this).children('span').eq(1).text();//得到第二个<span>标签的文字  
            var newsUrl= "http://news.dgut.edu.cn"+$(this).children('a').attr('href');//得到<a>标签的href的值  
        item++;  
        console.log("已爬取"+item+"条记录");  
        \});  
    \}  
\});

一个小爬虫案例就完了

附上完整代码

request('http://news.dgut.edu.cn/dgut/xydt/news_list.shtml',function(err,res){
        if(err)
        {
            console.log('请求出错');
        }
        else
        {
            var $ = cheerio.load(res.body, {decodeEntities: false});
            $('.listList').children('ul').children('li').each(function(){ //找到li元素对象然后通过each遍历
                var newsTitle = $(this).children('a').text(); //得到<a>标签的文字
                var newsTime= $(this).children('span').eq(1).text();//得到第二个<span>标签的文字
                var newsUrl= "http://news.dgut.edu.cn"+$(this).children('a').attr('href');//得到<a>标签的href的值
            item++;
            console.log("已爬取"+item+"条记录");
            });
        }
    });

下面的带数据库