一键爬取豆瓣读书

﹏ヽ暗。殇╰゛Y 2022-12-08 01:38 200阅读 0赞

### Amy独白 ###

老Amy来了，突然发现上次搬家把书都寄走了~老久没有摄取精神粮食了\[尽吃狗粮\]，寻思着来豆瓣读书瞧瞧把！想看小说类型评分较高的经典小说，又动起了脑筋，可以把这些相关数据爬下来保存到 excel 中给数据分析的盆友们做个分析啥的。所以我这挣扎一下午的路程就开始了\[爬虫并不难,而是…不规整的数据清洗保存到excel有点烧脑\]~  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center]

### Go ###

#### 明确需求 ####

首先，我们应该明确我们需要爬什么，如果只是想了解书籍的基础信息。我们则可以获取：“作者名”, “翻译者”, “出版社”, “出版日期”, “单价”, “评分”, “书名”

#### 解析页面 ####

其次并不是直接撸代码，而是来解析页面

*  通过 F12 打开 Chrome 自带的开发者工具
 *  通过 Select 选中需要页面中获取的数据  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 1]  
    如上图，则得知该数据的布局是 ul>li 的布局。用大白话讲，就是说当前页有20本书籍信息，那每本书的信息都有可能在 ul 下的对应 li 里边。比如第一本：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 2]  
    看到这里，有的朋友就觉得稳了。但是，注意上面用词为有可能，因为在elements中并不能确定，我们需要到 network 中的 response/preview 中进一步的确认。 此处使用 preview 更加直观。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 3]  
    大家就确认，实际上 数据所在的 url 就在当前页：https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4 woc~太简单了吧\[不要急，后面更精彩\]，基本上什么反爬都没用到。

#### 更上一层楼 ####

但是转眼一想，事情好像没有那么简单。因为我们需要去获取多页的数据，才能让我们花的更多…所以现在就来处理分页的事情。稳得一批~  
首先看到第一页的 url 为：https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4  
然后点击分页第二页：https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=20&type=T  
第三页：https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=40&type=T  
…  
这样就能发现，做翻页的时候，主要是 start 参数的变化，这样我们只需要控制住 start 为 0,20,40,60…就可以。是不是 so easy… 所以让我们撸起袖子写代码把\[在这里解析数据，使用xpath\]~

import requests
    from lxml import etree
    def get_html(db_url):
        # 构建请求头
        db_header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
        # 请求 分类为：小说页面
        db_novel = requests.get(url=db_url, headers=db_header)
        # 通过 text 获取文本数据
        db_novel_html = db_novel.text
        return db_novel_html
    def parse_html(db_html):
        # 解析数据
        # 将文本数据转为HTML
        # 提取出：书名，作者，价钱
        basic_info = db_html.xpath("//ul[@class='subject-list']/li/div[@class='info']/div[@class='pub']/text()")
        # bascic_info 去除空格与去除\n
        basic_info = [info.replace("\n", "").strip().split("/") for info in basic_info]
        # 提取出：评分
        rating_nums = db_html.xpath(
            "//ul[@class='subject-list']/li//div[@class='star clearfix']/span[@class='rating_nums']/text()")
        # 提取出：书名
        book_title = db_html.xpath("//ul[@class='subject-list']/li/div[@class='info']//a/@title")
        # 将评分跟书名打包为元组
        rating_titles = list(zip(rating_nums, book_title))
        return basic_info,rating_titles
    if __name__ == '__main__':
        # https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=60&type=T
        res_df_li = []
        for page in range(0,60,20):
            basic_url = "https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start={}&type=T".format(page)
            db_html = get_html(basic_url)
            basic_info, rating_titles = parse_html(db_html)

举例第一页中 basic\_info，rating\_titles 打印信息为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 4]

#### 关键时刻来临 ####

现在，我们该思考的就是如何将这样一个数据按照我们想要的格式保存下来

![在这里插入图片描述][20200916223637963.png_pic_center]  
有的朋友说就这？直接就可以使用 pandas 保存了呀~那就跟老Amy想的一致了。不过我们还是得介绍下，在 pandas 中，pandas.DataFrame 数据结构是非常接近 excel 数组的。所以，我们只需要，创建一个列名为表头，数据为我们获取的值的 DataFrame 数组，再保存即可。

但是在这里，大家要注意，DataFrame 数组的数据需要是 二维的列表，比如：表格值为 \[\[1,2,3\],\[4,5,6\]\]。这在表格中相当于  
![在这里插入图片描述][20200916223701800.png_pic_center]  
也就是说，二维列表里面的每个子列表都是一行~

所以，我们再来看我们的数据。如下，我们发现，在两个二维列表中，一个代表着书籍的基本信息，另一个代表着书名及评分，并且每本书籍的信息与每本书籍的名称和评分是一一对应的。那我们的第一个需求，是将对应的书籍全部信息打包在一起\[使用zip(iter1,iet2)\]。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 5]  
不过仅仅是打包，其结构会变为 \[(\[第一本书基本信息\],(第一本书的名称及评分)),(\[第二本…\],(第二本…))\] ，所以我们实际上需要将数据变为二维列表，并且二维列表的每条子元素都是每本书的所有信息。如：\[’\[日\] 东野圭吾 ', ’ 刘姿君 ', ’ 南海出版公司 ', ’ 2008-9 ‘, ’ 29.80元’, ‘9.1’, ‘白夜行’\]

但在实际的程序执行过程中会发现，有的数据是这样的：\['钱钟书 ', ’ 人民文学出版社 ', ’ 1991-2-1 ‘, ’ 39.00元’, ‘9.3’, ‘围城’\]。也就是说，我们获取到的所有数据的长度并不一致，这样构建DataFrame会报错，所以我们需要分开构建数组。并且将两种情况的数组再添加到列表中，方便一起拼接为一个数据。详细代码如下：

def save_data(basic_info, rating_titles):
        info_7_li = []
        info_6_li = []
        for info, rating_title in zip(basic_info, rating_titles):
            # print(info,rating_title)
            # 注意没有返回值
            info.extend(rating_title)
            # 打印的仍然是info
            print(info)
            if len(info) == 7:
                # print(info)
                info_7_li.append(info)
            elif len(info) == 6:
                info_6_li.append(info)
        print(info_6_li)
        print(info_7_li)
        all_book_df = pd.DataFrame(info_7_li, columns=["作者名", "翻译者", "出版社", "出版日期", "单价", "评分", "书名"])
        part_book_df = pd.DataFrame(info_6_li, columns=["作者名", "出版社", "出版日期", "单价", "评分", "书名"])
        res_df = pd.concat([all_book_df, part_book_df], sort=True)
        return res_df
    def save_df(res_df_li):
        all_df = pd.concat(res_df_li)
        all_df.to_excel("豆瓣读书.xlsx")
        
    if __name__ == '__main__':
        # https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=60&type=T
        res_df_li = []
        for page in range(0,60,20):
            basic_url = "https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start={}&type=T".format(page)
            db_html = get_html(basic_url)
            basic_info, rating_titles = parse_html(db_html)
            print(basic_info, rating_titles)
            res_df = save_data(basic_info, rating_titles)
            res_df_li.append(res_df)
        # print(len(res_df_li))
        save_df(res_df_li)

So，如此我们就完成啦~  
![在这里插入图片描述][20200916223826660.gif_pic_center]  
想了解Python更多精彩，欢迎关注下方公众号奥~  
![在这里插入图片描述][20200916223939887.gif_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/d4322b82f3bb48d9add09bdc119e8e9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/d5dedcaff82e4ebfbd1a17d3acb28d3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/bd2a519780a74ab39b3c0581126f26b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/bfb23e878d4345c8ad5fed65bf8b57ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/659b2de06ca64e95890e2682ac2f8a98.png
[20200916223637963.png_pic_center]: /images/20221123/98f8bb54f25c4ebaab9af196e48925dd.png
[20200916223701800.png_pic_center]: /images/20221123/f24fd9b4bba54fc8b00150ee4673a42d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1Mjk4MQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/83837f5d79fc4e4b8b4c5daf65866fe4.png
[20200916223826660.gif_pic_center]: /images/20221123/6b22240e38f643f7b8d5db29cd550965.png
[20200916223939887.gif_pic_center]: /images/20221123/f7ec3be9519f4a45aec59aa681f8e027.png