【Python爬虫】详解BeautifulSoup()及其方法

冷不防 2024-04-17 06:45 76阅读 0赞

#### 文章目录 ####

*  ?准备工作
 *  ?BeautifulSoup()
 *   *  ⭐代码实现
     *  ✨打印标签里面的内容
     *  ✨快速拿到一个标签里的属性
     *  ✨打印整个文档
     *  ?获取特定标签的特定内容
 *  ?查找标签
 *   *  ?在文档查找标签 find\_all
     *  ?正则表达式搜索
 *  ?查找参数
 *  ?文本(text)参数
 *  ?limit参数
 *  ?通过标签来查找 select
 *  ?通过类名来查找
 *  ?通过id来查找

![在这里插入图片描述][debf7b6b5fc94b52a4ee553f9229c9d9.png_pic_center]

## ?准备工作 ##

我们运行下面的代码，爬取一下百度网站

import urllib.request
    
    url = "https://www.baidu.com"
    headers = {
        
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
    }
    req = urllib.request.Request(url=url, headers=headers)
    reponse = urllib.request.urlopen(req)
    print(reponse.read().decode("utf-8"))

创建一个file，后缀为html，把爬取的代码粘贴过去  
![在这里插入图片描述][8366d1252c2d4f6cb6559e9087a449b9.png]

## ?BeautifulSoup() ##

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库。它提供了一种简单而灵活的方式，帮助开发者`从网页中提取所需的数据`

使用 BeautifulSoup，你可以将 HTML 或 XML 文档加载到解析树中，并使用类似于 DOM（文档对象模型）的方式来遍历和搜索文档的结构。然后，你可以使用各种方法和属性来定位、提取和操作文档中的元素和数据。

以下是 BeautifulSoup 的一些常见用途：

*  解析和提取数据：通过加载 HTML 或 XML 文档，BeautifulSoup 可以帮助你轻松地提取出所需的数据。你可以使用 CSS 选择器或类似于字典的属性访问方式来定位元素，并获取其文本内容、属性值等。
 *  数据清洗和转换：BeautifulSoup 提供了诸多方法来处理解析树中的元素和数据。你可以删除、替换或修改特定的标签、属性，也可以对文本内容进行处理，如去除空白字符、标准化格式等。
 *  网页爬虫：在网络爬虫中，你可以使用 BeautifulSoup 来解析抓取到的网页内容，提取出需要的数据，如标题、链接、图像等。它可以帮助你处理网页中的复杂结构，并提供便捷的 API 进行数据提取和处理。
 *  数据可视化和分析：BeautifulSoup 可以与其他数据处理和可视化库（如 Pandas、Matplotlib）结合使用，进一步分析和展示提取到的数据。你可以将数据转换为数据框架、绘制图表或进行其他分析操作。

总的来说，BeautifulSoup 是一个功能强大且易于使用的工具，用于解析和处理 HTML、XML 等文档，并从中提取所需的数据。它在数据爬取、数据清洗和转换等领域都有广泛的应用。

### ⭐代码实现 ###

from bs4 import BeautifulSoup
    
    file = open("./baidu.html","rb")
    html=file.read()
    
    # 解析的是html文件
    # 解析器是html.parser
    bs=BeautifulSoup(html,"html.parser")
    
    print(bs.title)

运行后发现  
![在这里插入图片描述][406ca107450f4f46b934e8c82b0ccab7.png]  
运行结果提取出了title

--------------------

同理  
![在这里插入图片描述][5e635868f30c4d189dc1fdbea87b051d.png]  
![在这里插入图片描述][e4e8538b32d84b618ac98cad52f4a786.png]

### ✨打印标签里面的内容 ###

print(bs.title.string)

![在这里插入图片描述][2ef65972bf794c57a370e8456a6872f1.png]

### ✨快速拿到一个标签里的属性 ###

print(bs.a.attrs)

![在这里插入图片描述][95e339820e2243bd9e3a5a59142249f7.png]

### ✨打印整个文档 ###

print(bs)

![在这里插入图片描述][ffd932d702bd4d4581e2c959abf7b280.png]

### ?获取特定标签的特定内容 ###

print(bs.head.contents[1])

![在这里插入图片描述][61986da13bd246c089c8184d20091cca.png]

## ?查找标签 ##

### ?在文档查找标签 find\_all ###

查找标签  
搜索到的仅仅是那一种标签

t_list=bs.find_all("span")

![在这里插入图片描述][0ab3266958ea474a8b1e225b7688b56a.png]  
把所有的 某个标签 放到列表里面

### ?正则表达式搜索 ###

需要引入库

import re

搜索出来的是包含 某个标签 的

![在这里插入图片描述][604f009cbfe04d94a47d148bc92f0ea5.png]  
我们查找a标签，head标签里面有a这个 字母，所以被选出来了  
由于link标签里面的链接中有a字母，所以link标签也被选出来了

## ?查找参数 ##

比如下面这种  
![在这里插入图片描述][106be181c24c4892a714cb5eb6237693.png]

## ?文本(text)参数 ##

![在这里插入图片描述][e34308dbb9164a288be0cd205be6e834.png]

## ?limit参数 ##

限制获取到的个数  
![在这里插入图片描述][3ad734805bc949edbdfb53bc99a90650.png]

## ?通过标签来查找 select ##

![在这里插入图片描述][d5e25633dfd546d986761c4e1ad0d99f.png]

## ?通过类名来查找 ##

![在这里插入图片描述][a9fe24f0b50b4a0990e659eb3c56c729.png]

## ?通过id来查找 ##

![在这里插入图片描述][240ed21a2fcc40179b16ae059b7ca66a.png]  
![在这里插入图片描述][c5c60141b7f94683bdb96bc10b020fa6.png_pic_center]

[debf7b6b5fc94b52a4ee553f9229c9d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/22515d832cc246c6b1faa2cdca04ca1e.png
[8366d1252c2d4f6cb6559e9087a449b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/0b4d741e493c4702ac451130c93a2fc0.png
[406ca107450f4f46b934e8c82b0ccab7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/ca86a1f828c2496da5cc8f255a7ed2e2.png
[5e635868f30c4d189dc1fdbea87b051d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/0ee5e36e4c25452cad9b36e89ec95408.png
[e4e8538b32d84b618ac98cad52f4a786.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/d029a18088744e779349c5b2471bb27c.png
[2ef65972bf794c57a370e8456a6872f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/b898a2e301524b0ea1564ea8e07dba42.png
[95e339820e2243bd9e3a5a59142249f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/552fca477588498c93a3ebb12505c800.png
[ffd932d702bd4d4581e2c959abf7b280.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/284e1f9bb8854e34a4a49bf124af8f9b.png
[61986da13bd246c089c8184d20091cca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/b70d5e116db1445683fb2686af37395c.png
[0ab3266958ea474a8b1e225b7688b56a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/6765373b50e143d29ffde76039d41c16.png
[604f009cbfe04d94a47d148bc92f0ea5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/81469c8b55a44948a5ec0676e61261b4.png
[106be181c24c4892a714cb5eb6237693.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/40ed9c8bf7264617944b24a6704da0d0.png
[e34308dbb9164a288be0cd205be6e834.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/fd74d6e63ec04f75bf96f3fbf31cd8f7.png
[3ad734805bc949edbdfb53bc99a90650.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/66bb8f8a9a80419c89864d6a3fdff2a5.png
[d5e25633dfd546d986761c4e1ad0d99f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/9035d65701ad49ad95620ae1a14dc9c7.png
[a9fe24f0b50b4a0990e659eb3c56c729.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/ba64eca70c434aca86f8db4030bc77e2.png
[240ed21a2fcc40179b16ae059b7ca66a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/506bdce8c66642bbbaa6abd5f7077964.png
[c5c60141b7f94683bdb96bc10b020fa6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/b9f7653af9e74bcea2ce46b30af36e28.png