你的大学榜上有名吗？requests爬虫简易入门实例，爬取中国大学排名

淡淡的烟草味﹌ 2023-03-14 08:26 136阅读 0赞

## 运行结果 ##

![运行结果][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAyODQ0_size_16_color_FFFFFF_t_70]

> 数据来源：[最好大学网][Link 1]

## 说明 ##

*  requests库是一个常用的用于http请求的模块，它使用python语言编写，可以方便的对网页进行爬取，是学习python爬虫的较好的http请求模块。
 *  如果你还没有安装这个库，只需要在命令行输入命令 `pip install requests` 即可安装
 *  BeautifulSoup是一个用来解析网页的常用python第三方库，类似于javascript的DOM，如果你学过，我想你应该有点印象
 *  同样，如果你没有安装BeautifulSoup，只需要在命令行输入命令 `pip install beautifulsoup4` 即可安装。beautifulsoup4 是该库的第4个版本，是比较常用的一个版本

> 温馨提示：如果使用pip 经常因速度缓慢而安装失败的话，那么可能是因为软件源的原因。默认情况下，pip的软件源是国外的，所以速度很慢。如果想提高速度，最好换成国内的。你可以自己去找相关的教程，如果你懒得找或者比较急的话，可以看看这篇 [更换国内软件源的教程][Link 2]

## 源代码 ##

# 导入第三方库
    import requests
    # 注意:安装的时候是 beautifulsoup4, 导入的时候是 bs4
    from bs4 import BeautifulSoup
    import bs4
    
    # 根据URL获取网页源代码
    def getHTMLText(url):
        try:
            # 发起请求
            r = requests.get(url, timeout=30)
            # 当状态码不为200时，发出异常
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except:
            return ""
    
    # 将HTML中的信息填充到二维列表
    def fillUnivList(ulist, html):
        # 解析HTML
        soup = BeautifulSoup(html, 'html.parser')
        # 遍历HTML表格的行
        for tr in soup.find('tbody').children:
            if(isinstance(tr, bs4.element.Tag)):
                # 获取每行的所有列
                tds = tr('td')
                # 将排名，学校名称，得分插入到ulist列表中
                ulist.append([tds[0].string, tds[1].string, tds[3].string])
    
    # 打印大学排名信息
    def printUnivRank(ulist, num):
        # chr(12288) 表示中文空格
        print("{0:^10}\t{1:{3}^10}\t{2:^10}".format('排名','学校','得分',chr(12288)))
        # 遍历前num 个学校的信息
        for i in range(num):
        	# 取出第i个大学的数据
            u = ulist[i]
            print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(
                u[0], u[1], u[2], chr(12288)))
    
    # 主函数
    def main():
        # 保存大学信息的列表
        uinfo = []
        url = 'http://zuihaodaxue.com/zuihaodaxuepaiming2019.html'
        html = getHTMLText(url)
        fillUnivList(uinfo, html)
        # 20代表显示前20个大学，如果你想显示更多，可以修改这个数字
        printUnivRank(uinfo, 20)
    
    # 执行主函数
    main()

## 最后 ##

*  由于本人水平有限，出现错误或遗漏在所难免，希望读者朋友不吝赐教和批评指正

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAyODQ0_size_16_color_FFFFFF_t_70]: /images/20230312/ea42f798a8704f8d900a779f611dec63.png
[Link 1]: http://www.zuihaodaxue.com/
[Link 2]: https://blog.csdn.net/chenghuikai/article/details/55258957