python3[爬虫实战] 爬虫之scrapy爬取传智播客（我的奋斗我的路）

本是古典何须时尚 2021-09-14 02:28 452阅读 0赞

## 我的奋斗我的路 ##

--------------------

这里爬取的是传智播客大型学员征文活动，是一个个屌丝逆袭的成功故事

这次主要爬取的是`http://fendou.itcast.cn/article`

下面的文章 包括：  
1 目前排行  
2 文章名称  
3 作者  
4 票数  
5 支持Ta  
6 查看

刚刚看了一下，点赞排行版，到最后的一共是144文章，难怪我搞个for循环60，到14的时候都已经不行了。可能是真的文章数量太少了。这里爬取的网站也是用的一部ajax异步json数据把，对前端了解的也不是很多，只是懂一些这些，不喜欢的勿喷。

> scrapy 爬取json数据也是很简单，直接在parse方法中解析一下便好。

贴上代码：

# -*- coding: utf-8 -*-
    # @Time    : 2017/8/10 22:19
    # @Author  : 蛇崽
    # @Email   : 17193337679@163.com
    # @File    : BokeFightingMain.py  传智博客主页最新投稿文章
    import scrapy
    import json
    # from chuanzhibokemyfendou.chuanzhibokemyfendou.items import BokeFighting
    f = open('传智排行.txt', 'a',encoding='utf-8')
    
    class BokeFightingMain(scrapy.Spider):
    
        name = 'bokemain'
    
        allowed_domains = ['fendou.itcast.cn']
    
        start_urls = ['http://fendou.itcast.cn/Article/newpaihang.html?offset={}'.format(n) for n in range(1,20)]
    
        def parse(self, response):
            root_list = json.loads(response.body_as_unicode())
            for info in root_list:
                # Boke = BokeFighting()
                Boke = []
                print(info)
                # 挑战到详情页用的aid
                # Boke['titleAid'] = info['aid']  if 'aid' in info else ''
                titleAid= info['aid']  if 'aid' in info else ''
                f.write(str(titleAid))
                # 作者
                # Boke['nickname'] = info['nickname']  if 'nickname' in info else ''
                nickname= info['nickname']  if 'nickname' in info else ''
                # 文章名称
                # Boke['title'] = info['title']  if 'title' in info else ''
                title = info['title']  if 'title' in info else ''
                # 票数
                # Boke['vote'] = info['vote']  if 'vote' in info else ''
                vote = info['vote']  if 'vote' in info else ''
                # 发表时间戳
                # Boke['adddate'] = info['adddate']  if 'adddate' in info else ''
                adddate = info['adddate']  if 'adddate' in info else ''
                # 是否点过赞（暂且这样考虑）
                # Boke['stau'] = info['stau']  if 'stau' in info else ''
                stau = info['stau']  if 'stau' in info else ''
                print('*'*20)
                print(str(adddate))
                # yield
        f.close()

> 对scrapy掌握的不是很好，那个items 让我搞了又搞，真的是搞懵逼了，因为新开的一个project，一直导入报错，no moudle named ‘xxx’ 蛋疼ing，这里cookie也没有用，成功爬取过5+左右就爬不动了。

因为有个好朋友也在里面写了一篇文章，想给他刷点赞， 但是感觉现在自己的技能还在一个入门阶段，只会一些简单的爬取，类似到了代理池，cookie，模拟登陆就犯愁了，最近一直没有时间很系统的学习一下，觉着自己最近的生活很乱，996，nngt。还没加班费！

这里爬取的json串很容易解析， 不像上篇微博似的，跟吃药似的。放个链接比对一下：  
**[http://blog.csdn.net/xudailong\_blog/article/details/76945566][http_blog.csdn.net_xudailong_blog_article_details_76945566]**

这里的adddate 为时间戳，转一下就是正常的时间了，titleAid：主要是跳转到详情页里面的拼接的ID：  
附上一条详情页的跳转链接：**[http://fendou.itcast.cn/Article/ajaxlook.html?aid=296][http_fendou.itcast.cn_Article_ajaxlook.html_aid_296]**

是不是很酷，但是！！！ 我觉得文章还是要好好看一下，当你心情低落想要放弃的时候，可以看卡上面的鸡汤文章，这些都是他们的亲身经历，没有丝毫的半点夸大， 不像类似简书，知乎上的文章吧，一些段子手靠博取眼球，夸大，夸得没基地。

话说：说到程序员，确实，耿直的多。多多少少都是些有着雄心壮志，壮志凌云，楞得一脸懵逼，面对女生，嘴都没了的，在QQ群飙车厉害的，也有些一些专心技术的，像我吧？可能搞技术也是不大好，总得多多少少自己学一些，活到老学到老，毕竟靠这个吃饭的，

> 问题： 困扰了自己蛮久的问题  
> 1 对于一些ajax 加载json的数据是使用html标签上的解析还是直接使用json串解析得了。  
> 2 代理IP的实践！！起码自己得依葫芦画瓢的实践一次，虽然我现在暂时不懂代理IP到底是干什么的，  
> 3 cookie池的使用，

### 多看一些博客大牛的文章，适当的时候要看一下视频，尽管看视频花一些时间，但很多就是从视频里面懂得快，有些博客也是写的一脸茫然，无处问人。 ###

end….

[http_blog.csdn.net_xudailong_blog_article_details_76945566]: http://blog.csdn.net/xudailong_blog/article/details/76945566
[http_fendou.itcast.cn_Article_ajaxlook.html_aid_296]: http://fendou.itcast.cn/Article/ajaxlook.html?aid=296