NodeJs Express 爬取百度新闻

爱被打了一巴掌 2023-10-18 16:23 157阅读 0赞

第一步：使用express创建reptile应用

express reptile

第二步：reptile应用依赖的第三方模块（superagent 和cheerio）

superagent:superagent是node里一个非常方便的、轻量的、渐进式的第三方客户端请求代理模块，用他来请求目标页面

cheerio:相当于node版的jQuery，用过jQuery的同学会非常容易上手。它主要是用来获取抓取到的页面元素和其中的数据信息

本地安装第三方模块(superagent 和cheerio)

cnpm install superagent

cnpm install cheerio

编辑package.json

{
      "name": "reptile",
      "version": "0.0.0",
      "private": true,
      "scripts": {
        "start": "node ./bin/www"
      },
      "dependencies": {
        "cookie-parser": "~1.4.3",
        "debug": "~2.6.9",
        "express": "~4.16.0",
        "http-errors": "~1.6.2",
        "jade": "~1.11.0",
        "morgan": "~1.9.0",
    	"superagent": "~4.1.0", #依赖superagent 模块
    	"cheerio": "~1.0.0-rc.2" #依赖cheerio 模块
      }
    }

第三步：分析百度新闻首页的页面信息：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70][]

F12打开Chrome的控制台，审查页面元素，
    经过查看左侧“热点新闻”信息所在DOM的结构，
    我们发现所有的“热点新闻”信息（包括新闻标题和新闻页面链接）
    都在id为#pane-news的<div>下面<ul>下<li>下的<a>标签中。
    用jQuery的选择器表示为：#pane-news ul li a

第四步、数据爬取

在reptile/routes/index.js文件中，使用用superagent和cheerio请求目标页面，获取整个新闻首页信息。

第五步：reptile应用安装项目依赖模块和应用启动

cnpm install

cnpm start

爬虫访问地址:[http://localhost:3000][http_localhost_3000]

控制台输出数据结果如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190329162755976.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70
[http_localhost_3000]: http://localhost:3000
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190329163443969.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70