基于node.js的一个小爬虫

悠悠 2022-06-01 13:54 168阅读 0赞

昨天晚上写到一半就停就了，今天接着来．由于也是第一次写，所以跟着网上的一个教程来的．

--------------------

## 思路： ##

*  目标：爬去北京大学某个学院的官网新闻，并将其照片和内容存至本地．
 *  首先对其网页进行一定的分析[http://www.ss.pku.edu.cn/index.php/newscenter/news/][http_www.ss.pku.edu.cn_index.php_newscenter_news]．记录内容及网页格式．（他的每篇文章中都有下一篇文章url的链接）．
 *  确定的做法是，给定一个初始的url，然后进行一次请求，爬去到下一篇文章的url．用新的url在继续请求，递归调用，直到遍历完所有的新闻网页．
 *    
    通过一个变量i来控制爬去文章的数量．

## 开始做： ##

(我的环境是ubuntu+webstorm)

*  首先安装nodejs和js编辑器（当然，这是我之前就有的环境）．
 *  建立项目

> １．进入终端：mkdir spider(创建项目文件夹)  
> ２．cd spider 　然后　npm init (初始化项目)，会生成一个package.json文件．  
> ３．安装包（first:**cheerio包**;second:**request包**）命令用**npm install cheerio/request -save**

**注：**为什么要安装cheerio包：  
Cheerio 是一个Node.js的库， 它可以从html的片断中构建DOM结构，然后提供像jquery一样的css选择器查询．

*  在spider文件中建立子文件夹：cd spider然后 mkdir data 和mkdir image，用于存放爬取的文本内容和图片资源．
 *  cd spider 建立　spider.js文件．
 *  cd spider 创建一个.gitignore文件，用来吸收系统环境产生的文件．
 *  文件目录如图：  
    ![文件目录如图所示：][SouthEast]

--------------------

网页代码分析：

<div class="item-page">
        <div class=" article-title">
            <a href="/index.php/research/cooperationnews/2114-剑桥大学教授alanbarrell在北大软微学院发表演讲-2"> 剑桥大学教授Alan
                Barrell在北大软微学院发表演讲 </a>
        </div>
        <div class="article-info muted">
            <a href="#" title="供稿">供稿：综合办公室 </a>
            <a href="#" title="发布于 2014年12月22日"><i class="icon-calendar "></i> 发布于 2014年12月22日</a>
            <br style="clear:both;"/>
        </div>
        <div class="article-content">
           <p>`text`</p>
            <p style="text-align: center;"><img src="/images/images/07_news/02_news/2014.12.22.jpg" alt="2014.12.22" width="550" height="368"/></p>
            <div class="attachmentsContainer">
                <div class="attachmentsList" id="attachmentsList_com_content_default_2114"></div>
            </div>
        </div>
        <ul class="pager pagenav">
            <li class="previous">
                <a href="/index.php/research/cooperationnews/2391-台湾实践大学陈振贵校长一行参访无锡校区" rel="prev">< 上页</a>
            </li>
            <li class="next">
                <a href="/index.php/research/cooperationnews/2106-互联网联合创始人roberte-kahn成功访问北京大学" rel="next">下页 ></a>
            </li>
        </ul>
    </div>

以上是我从网页源代码中提取出我们需要爬取的内容代码，以方便看．

## 爬虫重要代码展示： ##

1.  引入所需模块，初始化url，分装一层函数．

var http=require('http');
    var fs=require('fs');
    var cheerio=require('cheerio');
    var request=require('request');
    
    var i=0;
    var url='http://www.ss.pku.edu.cn/index.php/newscenter/news/2391';
    
    function fetchPage(x) { 
        startRequest(x);
    }

2.发起请求，获取网页内容（实现startRequest()函数）

３．实现savecontent函数：保存文章内容到本地

４．实现saveImg函数：保存图片到本地

最后`fetchPage(url);`  
此时我们在终端运行：node spider.js  
**结果**：![这里写图片描述][SouthEast 1]

ok,大功告成，我们可以返回去看data文件夹下和image文件夹下也有了内容．  
[已上传到的github地址][github]

--------------------

[参考文章][Link 1]

[http_www.ss.pku.edu.cn_index.php_newscenter_news]: http://www.ss.pku.edu.cn/index.php/newscenter/news/
[SouthEast]: /images/20220601/d71bd86557aa4a7087ca1098e823e513.png
[SouthEast 1]: /images/20220601/85c4c9606dc14560a9854a9da05ffdb9.png
[github]: https://github.com/CallmePapa/node.js/tree/master/spider
[Link 1]: http://blog.csdn.net/yezhenxu1992/article/details/50820629