用两种非传统的爬虫，我把CSDN博主的底裤都给爬出来了！

冷不防 2022-12-28 15:26 97阅读 0赞

大家好，我是小五

写博客也快一年了，突然想了解下同层次的博主的平均水平应该是什么样的（自己写的博客咋样没点B数么 ），今天就来分享下CSDN的博主信息数据的爬取方法~

我们将采用两种非传统爬虫：`Selenium爬取`、`Webscraper爬取`

![format_png][]

## 一、项目介绍 ##

**爬取网址**：CSDN首页的Python、Java、前端、架构以及数据库栏目，各栏目网址如下：

<table> 
 <thead> 
  <tr> 
   <th>栏目</th> 
   <th>网址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Python</td> 
   <td>https://www.csdn.net/nav/python</td> 
  </tr> 
  <tr> 
   <td>Java</td> 
   <td>https://www.csdn.net/nav/Java</td> 
  </tr> 
  <tr> 
   <td>前端</td> 
   <td>https://www.csdn.net/nav/web</td> 
  </tr> 
  <tr> 
   <td>架构</td> 
   <td>https://www.csdn.net/nav/arch</td> 
  </tr> 
  <tr> 
   <td>数据库</td> 
   <td>https://www.csdn.net/nav/db</td> 
  </tr> 
 </tbody> 
</table>

简单分析其各自的URL不难发现，都是`https://www.csdn.net/nav/`\+`栏目名`样式，这样我们就可以爬取不同栏目了。

以Python目录页为例，如下图所示：

![format_png 1][]

**爬取内容**：每篇文章的博主信息，如**博主姓名、码龄、原创数、访问量、粉丝数、获赞数、评论数、收藏数**

（考虑到**周排名、总排名、积分**都是根据上述信息综合得到的，对后续分析没实质性的作用，这里暂不爬取。）

![format_png 2][]

不想看代码的朋友可直接跳到第三部分~

## 二、Selenium爬取 ##

分析目录页可知文章是需要动态加载的，此时需要selenium模拟浏览器不断下拉才能获取新的文章。文章的链接如下所示：

![format_png 3][]

### 1、第一种爬取思路（未果） ###

思路图如下：

![format_png 4][]

执行的关键代码如下：

from selenium import webdriver
    import time
    driver = webdriver.Chrome()
    driver.get('https://www.csdn.net/nav/python')
    
    #下拉若干次
    for i in range(10):
     driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
     time.sleep(1)
    
    #定位所有链接
    blog_url = driver.find_elements_by_css_selector('div.title > h2 > a') #注意:这里保存的是所有element对象
    
    for i in range(len(blog_url)):
     url = blog_url[i].get_attribute('href')
     driver.get(url)
     #------------相关信息爬取(省略)----------
     driver.back() #返回目录页

理论上，这段代码看起来是可以实现要求的，但实际上会遇到以下两个问题！

#### （1）元素定位问题 ####

报错的原因：**selenium当打开新的页面后，原来定位过的元素都会失效，需要重新定位元素**。上面的driver.back()相当于打开的新的页面（但是对于我们来说只是返回原来的页面）

详细内容可参考这篇博客的内容：https://blog.csdn.net/qq\_43251443/article/details/82819887

解决方式：**只要每次返回目录页后重新定位元素即可**，如下所示：

for i in range(len(blog_url)):
     blog_refind_url = driver.find_elements_by_css_selector('div.title > h2 > a')  #重新定位
     url = blog_refind_url[i].get_attribute('href')
     driver.get(url)
     #------------相关信息爬取(省略)----------
     driver.back() #返回目录页

重新定位后，不难发现，这必须要求blog\_url和blog\_refind\_url这两个列表的长度一致啊！那也就是：**每次返回目录页后，需要保持在上一次浏览的位置！** 由此引发了第二个问题：定位元素的不一致。

#### （2）定位元素不一致 ####

我们在获取所有的文章链接之前，首先进行的下滑页面的操作。而每次driver.back()之后，**页面都会回到最初的位置**！这就很头疼，如果要保持一样的浏览位置，难道每次返回后都要下拉相同次数的页面么？那么此时我们需要解决的问题则是：如何保持上一级页面的浏览位置。emm，查了一些资料，发现这个需求是和javascript相关的。详细可参考这篇博客：https://blog.csdn.net/chu782729918/article/details/59489616

大致解决思路：保存每次下滑的位置，然后最终调用最后一次下滑的位置。但归根到底，还是需要每次滑动页面，依旧很麻烦，这种思路到这也只能不了了之了。（会javascript的朋友可以尝试如何让页面直接恢复到上一级页面浏览的位置）

### 2、第二种爬取思路（成功） ###

不过，仔细思考一下，上面两个问题的来源关键在于selenium访问页面后，元素会重新定位。而我们第一步定位所有文章链接时保存的列表，里面的元素都是**element对象（它是会随着页面变化而改变的！）**。所以，我们只要保存每个文章的url到一个列表，挨个访问每个url，不就可以了？

思路图如下：

![format_png 5][]

*两种思路的对比与思考：前者装有所有文章的列表里都是element对象，而后者装有所有文章的列表里都是url。后者免去了再返回页面这一操作，相当于将一个爬取二级页面问题转化为一级页面问题！*

爬取过程：

![format_png 6][]

如果大家对完整爬虫代码感兴趣，扫码关注**「快学Python」**后台回复“**CSDN**”

![format_png 7][] 后台回复“ **CSDN**”获取数据&代码

爬取结果如下：

![format_png 8][]

## 三、Webscraper爬取 ##

之前的博客分享过Webscraper是一种轻量级的爬取软件。不想看代码的朋友可以用它来复现上述爬取过程。**（注：以下爬取过程只是针对首页的某一个栏目）**

最终的爬取线路图如下:

![format_png 9][]

依旧以首页的Python栏为例：

### 1、创建下拉对象 ###

这个container只是一个ID，它可以取任意名字的。其他的设置如下图所示：

![format_png 10][]

*  **Type勾选Element\_scroll\_down**(负责下拉页面)
 *  勾选上Multiple后，点击多个文章所在模块后，则会出现红色选定。此时点击`Done selecting`，完成selector的配置。
 *  **Delay设置为2000毫秒**（给予页面反应时间）

此外，需要在selector后面加上`:nth-of-type(-n+300)`，控制爬取的条数，否则它会一直下拉页面！（这里的300则代表需要爬取的总条数）最终，selector的配置如下：

![format_png 11][]

### 2、创建文章链接对象 ###

保存container的selector后，点击进入下一层，创建如下selector

![format_png 12][]

具体内容如下：

![format_png 13][]

*  Type选择Link
 *  Selector中不勾选Multiple，h2 a则是文章链接定位的位置

Link不方便定位的话，可以先选择text进行定位，然后得到位置后，再复制到link这即可。

### 3、创建博主信息对象 ###

同理，保存完inf的selector后，再点击进入下一层，依次创建各类信息的selector，如下所示：

![format_png 14][]

以name为例，其内容如下：

![format_png 15][]

type选择text，相应的选择器内容只要鼠标点击博主姓名即可获得。

这样，我们就完成了所有的准备工作，接下来就可爬取啦~所有延迟时间均设置为2000ms

![format_png 16][]

最终爬取结果如下（这里仅作演示，只爬取了七条）：

![format_png 17][]

本次创建的sitemap如下，有兴趣的朋友可以自己实验下，只需要import sitemap即可

![format_png 18][]

{"startUrl":"https://blog.csdn.net/nav/python","selectors":[{"parentSelectors":
    ["_root"],"type":"SelectorElementScroll","multiple":true,"id":"container","selector":"ul.feedlist_mod li.clearfix:nth-of-type(-n+300)","delay":"2000"},{"parentSelectors":
    ["container"],"type":"SelectorLink","multiple":false,"id":"inf","selector":"h2 a","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"name","selector":"div.profile-intro-name-boxTop span.name","regex":"","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"blog_num","selector":"dl.text-center:nth-of-type(1) a span.count","regex":"","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"code_time","selector":"span.personal-home-page.personal-home-years","regex":"","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"views_num","selector":"div.data-info:nth-of-type(2) dl.text-center > dt span.count","regex":"","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"fans","selector":"dl#fanBox.text-center span.count","regex":"","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"agreement","selector":"dl.text-center:nth-of-type(3) > dt span.count","regex":"","delay":""},{"parentSelectors":
    ["inf"],"type":"SelectorText","multiple":false,"id":"comment","selector":"div.data-info:nth-of-type(4) dl.text-center:nth-of-type(4) span.count","regex":"","delay":""},{"parentSelectors":["inf"],"type":"SelectorText","multiple":false,"id":"collection_num","selector":"dl.text-center:nth-of-type(5) span.count","regex":"","delay":""}],"_id":"csdn"}

**总结**：Webscraper虽然简单易操作，速度也和selenium差不多，但每次只能爬一个网址，需要连续爬取多个网址，还是得码代码~

## 凹凸福利 ##

????《**从零开始：Python基础培训教程**》Python入门教程：适合新手上路，老手也可以从中学到正确的观念及避坑指南。点击下图可看详情/购买！????

![format_png 19][]

感谢北京大学出版社支持！**周末**统一兑换！后台回复“**读书会**”进群，获取最新书籍信息！后台“**左下菜****单栏**”轻松赚币，免费包邮带回家！

![format_png 20][]

**本篇点赞过50，下篇就分析爬取的数据 ???? **

[format_png]: /images/20221120/ae5de9ca24ca4f7eb4b7c9c85237e8c7.png
[format_png 1]: /images/20221120/5a29bcde369348299a34811bbd4367b2.png
[format_png 2]: /images/20221120/06ab7cdf39e84b5d9bc31283585a6410.png
[format_png 3]: /images/20221120/ef608ab0fdf44c2288a8017c19e3f0ac.png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWliYmdBRE00UE50bnhtc0NBSFpES3oyazd4aWFFM0x3TjJ5TE9EbUJaaWE1anpVbDhjUTFra2lheUEvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWFqYkxPRG1XYk9SM3dDbnFrOFU3UEtDVDJ5c2NpYlFNcU1PcmIyVmJWbW9qQ0NLVTJMWVRxa3cvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadXN6dEd6Z1pqY2ozdG91V3JpYXJ2YlB3ekpPTTRKaFkwb1E1M29TQ1dYMjdxeWE4Q1RVRXRRT1EvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGdCZ3ZmVEZES3hMbE5EQ3hpYmdDaWFSZ01ZQmliSVJ3OWN6WHBmbFJ3QWYySWpMa3pveE1vU3A2UTJucWlhVXdJS3JtSk9yWGFmV1J3bmpBLzY0MA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadUtzZXRBQnRRdVFxb2NPQ3F3TEp0VndNQTJhejFXdGZYendnTTlpY3F5SkFrbkdxbVFpYk9sQ0lRLzY0MA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadURVd0JGS1BpYlJ1UjlITWNUT2JkUTdYM29KUVJDMVVYbW1QZndRZ0VlU1lrRlNHcU5EZDdsNkEvNjQw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWljenBvV29UZkNDaWJJSUJUUXRZUll3T1RmckxMZDlQT1I2Mmh1NHVpYTd4MWljWlBhNkx3MVR4MmcvNjQw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadXFNTDZkWGtUN0tTSjV1cmVPbzdpYmljT3l4UndrMmVvWmFvaWFpY2picm91d0RuRlA4VXYzN1Z1b1EvNjQw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWVUZXpUY3loSDd6c0x2ekQwR0FrVFAxTVY5azNMQVBpYkdHTVR6S2FpYmtCNlM1cEM1MGxRNWFRLzY0MA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWliaHkyaWNrY2hsV2ljcjN6cUZoSmpDNnNMMlA1Vzl4MVlUdEo0a2RMb1ZYY0g4ZFlSUUVieUJoUS82NDA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadW9XWVFDWmRpYnduRUg0MVFSWEF2NW5IQnU2WndjQ2xncTB1amZVSTJpYWw3QXJZUkNheWxKUWV3LzY0MA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWVTVGJJVWliZkt4S1VwU3dobGVlMWFBYXRmS0FUZGc5b3lCSGRaOVlGS2dYOUd3MWJpYUtWTVFBLzY0MA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadTVRNjFWZmlhYnY4c3JaSW55U1QxZ2hBUlJlazhHbWFpYjFwdW5CM2dlVE1YYjVrUWJzbmtodElRLzY0MA?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadTU3NGVpYTZGQlBSdDNPMGJ3TmVBbGZHWVg5SzJRdUJpYVBYall2T0JWUzVGWEJyM2dUZEt6bGp3LzY0MA?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadXFNVkhjZWljVTc4N3FnNHNiY3kxNUdpY1JLc05LZWg1dk5SMEp3TDNlUExVNGdlNUdwRExleDV3LzY0MA?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGhPRDZtT1AzZDhaakpmUnYzcHgxT3h3TmlhdHNaZUM4QWpPNmVTaWN0cXRuZGliTHl2b2w1TGxPQnlLaWFyRE9ublVCV1J6YmR1UE92SHNBLzY0MA?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGhiRm1LeXdpYjlYdW5EaWFrMDRsdUtadWo3dXdna2wzVE8wU0pEbmljRHl0RTR1aWNuUExrVEhCdWFtY1ZES2tVSjhRN3ZSQWFGeHBDcEN3LzY0MA?x-oss-process=image/format,png