Python通过关键词爬取csdn博客文章

绝地灬酷狼 2022-05-23 13:28 505阅读 0赞

摘要：利用requests和BeautifulSoup，爬取网页的源代码，从而抓取到有用的字符信息后进行筛选与匹配。

注：csdn提供有搜索栏，可以通过url链接直接进行搜索，搜索结果的界面是动态网页和静态网页结合的。（具体我也不知道为什么，但是确实搜索结果一部分在源代码里有，一部分没有）简单起见，我们只爬取静态的部分，这样我们只需解析源代码就好了。

先上代码：

#通过关键词爬取csdn博客文章
    
    import requests
    from bs4 import BeautifulSoup
        
    def getHTMLText(url): #作用：得到html的text
        try:
            r= requests.get(url,timeout =30)
            r.raise_for_status
            r.encoding= "utf-8"
            return r.text
        except:
            # print ("getHTMLText出现异常")
            return "getHTMLText出现异常"
        
    def getInformation(soup): #作用：将html的有用信息筛选出来并储存到相对应的列表alist中
        
        #通过查看网页源代码，分析得到下面的解析特点。
        data =soup.find_all("dl")  #每个dl里面储存着一篇csdn博客的信息，1个dl里有1个dt和3个dd
        for dl in data:
            ldt=dl.find_all("dt")    #dt里储存着博客的题目
            for dt in ldt:
                # print (type(dt.get_text()))
                text=dt.get_text()
                # print (text)
                indexOfStart=text.find("\n")
                indexOfEnd=text.find("- CSDN博客")
                # print (indexOfStart)
                # print (indexOfEnd)
                title=text[indexOfStart:indexOfEnd-3].replace("\n","")
                print ("标题是："+title)
                # print ("@@@@@@@@@@@@@@@@@@@@@@@@@@@")
            ldd =dl.find_all("dd") #1个dl里有3个dd，分别是作者日期浏览次数，简介，链接
            #作者日期浏览次数
            text = ldd[0].get_text()
            indexOfStart = text.find("作者")
            indexOfEnd = text.find("日期")
            author = text[indexOfStart+3:indexOfEnd - 3]
            print ("作者是：" + author)
    
            indexOfStart = text.find("日期")
            indexOfEnd = text.find("浏览")
            date = text[indexOfStart + 3:indexOfEnd - 3]
            print ("日期是：" +date)
    
            text = ldd[0].get_text()
            indexOfStart = text.find("浏览")
            indexOfEnd = text.find("次")
            clickTimes = text[indexOfStart + 3:indexOfEnd - 1]
            print ("浏览次数是：" + clickTimes)
    
            #简介
            text = ldd[1].get_text()
            text=text.replace("\n","")
            print ("简介是：" + text)
    
            #链接
            text = ldd[2].get_text()
            print ("链接是：" + text)
    
            print ("**********************************************************")
    
    
    
    def main():
        a=["线程","地址"]
        # keyword="进程"
        keyword=""
        for i in range(len(a)-1):
            keyword=keyword+a[i]+"+"
        keyword = keyword + a[-1]
        # print (keyword)
    
        html = getHTMLText(r"https://so.csdn.net/so/search/s.do?q="+keyword+"&t=blog&o=&s=&l=")
        soup = BeautifulSoup(html, "html.parser")
        getInformation(soup)
    
    main()

图文解释：下图就是搜索界面，可以看出可以通过url链接直接定位到相关的搜索界面。

![70][]

右键查看源代码，会发现一个比较特别的地方。常规的网页不是动态就是静态，前者从数据库服务器接收信息，后者源代码里则会有具体信息。但csdn的搜索界面的源代码是部分动态部分静态的。经过分析发现，也是有一定规律的。

![70 1][]

如上图，这两篇博客的信息构架是不同的。上面只有标题、简介和链接，而下面的则多了作者、日期、浏览次数三个信息。然后在源代码里搜索上面的博客，搜不到，说明源代码里没有这篇博客的信息。但下面的博客是在源代码里是搜的到的。

![70 2][]

我猜想原因应该是csdn在建设过程中有些改动，导致数据的不一致。简单起见我们只爬取静态的博客，即利用源代码的解析，提供我们需要的字符内容就行了。具体操作因网页而已，代码中有介绍，不再赘述。

最后是关键词的问题，单个关键词必较容易，多个关键词，csdn是采用的+连接，所以这时要注意输入的方式。

评价：

爬取效果：对于静态的博客爬取内容比较全面，便于观看浏览。

时间：速度较快，一秒之内就可以。因为不需要渲染，只需解析源代码即可。

[70]: /images/20220523/fa5f3ce5512c4ccda02c72a9c18920d6.png
[70 1]: /images/20220523/5145567d39bd4d5ba777f146d2bf5d41.png
[70 2]: /images/20220523/61ccff619a494f7a899715d5cf0c2473.png