Python爬虫：BeautifulSoup的find()和findAll()

太过爱你忘了你带给我的痛 2024-02-19 21:21 61阅读 0赞

BeautifulSoup的find()和findAll()这两个函数在某些方面十分的相似，我们可以使用它们过滤HTML页面，并查找需要的标签组和单个的标签。

这两个函数非常的相似：

findAll(tag,attributes,recursive,text,limit,keywords)

find(tag,attributes,recursive,text,keywords)

标签参数tag:可以传递一个标签的名称或多个标签名称组成的Python列表做标签参数。

如：findAll(\{"tag1","tag2","tag3","tag4"\})

属性参数attributes是用一个Python字典封装一个标签的若干属性和对应的属性值。

如：返回HTML文档中attribute1和attribute2属性的tag标签

findAll("tag",\{"classs":\{"attribute1","attribute2"\}\})

递归参数recursive是一个布尔变量。如果你想知道所抓取的HTML文档标签结构中有多少层的信息，如果recursive设置为True，findAll就会根据你的要求去查找标签参数的所有子标签以及子标签的子标签。如果recursive设置为False，findAll就只会查找文档的以及标签。findAll默认支持递归查找（recursive的默认值是True）,一般情况下不需要设置该参数。只是当你真正了解自己需要哪些信息，而且抓取速度非常重要时，就可以视情况设置递归参数。

文本参数text是使用标签中的文本内容去进行匹配，而不是标签的属性。

如果我们需要查询某个网页中包含"the text"内容的文本数量，我们可以使用以下语句

namelist=bsObj.findAll(text="the text")

print(len(namelist))

范围限制参数limit，只能用于findAll方法。find()方法等价与findAll()方法limit参数等于1时的情形。如果你只对网页中获取的前x项感兴趣，就可以设置它。但是要注意的是这个参数设置之后获取的前几项结果是按照网页上的顺序排序的，也有可能不是你想要的结果。

关键词参数keyword，可以让你选择那些具有指定属性的标签。

如：

alltext=bsObj.findAll(id="text")

print(allText\[0\].get\_text())

.get\_text()会把你正在处理的HTML文档中的所有标签都清除，然后只返回一个只包含文字的字符串。如果你正在处理一个包含许多超链接、段落以及标签的大段源代码，那么get\_text()会把这些超链接、段落、以及标签全都清除，剩下不带标签的文字。

通常在你准备打印，存储以及操作数据时，应该在最后再使用.get\_text()去提取你想要的文本信息，在一般的情况下，应该尽可能的保留HTML文档的标签的结构。

发表评论取消回复

表情：

评论列表（有 0 条评论，61人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫实战：基于requests和BeautifulSoup的问题

在Python的爬虫实践中，经常会遇到使用requests库获取网页内容以及BeautifulSoup进行解析的问题。以下是一些常见问题及解决方案： 1. **无法获取网页内

女爷i/ 2024年12月21日 21:18/ 0 赞/ 3 阅读

相关 Python网络爬虫：常见爬虫技术如BeautifulSoup和Scrapy实例

在Python中，网络爬虫主要通过两个库进行操作：BeautifulSoup（BS）和Scrapy。这里我们将分别介绍这两个实例。 1. **使用BeautifulSoup进

刺骨的言语ヽ痛彻心扉/ 2024年12月16日 11:48/ 0 赞/ 14 阅读

相关 Python3爬虫使用requests和BeautifulSoup

Python3爬虫是一种非常强大的工具，可以帮助我们从互联网上获取各种数据。本文将从入门到精通，为大家介绍Python3爬虫的基础知识、常用库以及实战案例。一、Python

快来打我*/ 2024年03月24日 01:28/ 0 赞/ 85 阅读

相关 Python爬虫：BeautifulSoup的find()和findAll()

BeautifulSoup的find()和findAll()这两个函数在某些方面十分的相似，我们可以使用它们过滤HTML页面，并查找需要的标签组和单个的标签。这两个函数非常

太过爱你忘了你带给我的痛/ 2024年02月19日 21:21/ 0 赞/ 62 阅读

相关 python爬虫之BeautifulSoup4

BeautifulSoup4 1.bs4的简介 1.1基本概念 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库

谁践踏了优雅/ 2023年10月05日 18:22/ 0 赞/ 37 阅读

相关【爬虫】BeautifulSoup4的使用、常用解析器、find()和find_all()、select()

1.BeautifulSoup4 BeautifulSoup是一个强大的HTML/XML的解析器，我们主要用它来解析和提取 HTML/XML数据优点：使用简单，支持

素颜马尾好姑娘i/ 2022年11月21日 11:21/ 0 赞/ 151 阅读

相关 BeautifulSoup的高级应用之 find findAll

BeautifulSoup 是python学习的重要组成部分，可用于帮助解析html/XML等内容，尤其是在爬取特定网页信息的时候，用于解析和检查在网上看到的那些乱七八糟而且不

清疚/ 2022年08月04日 00:49/ 0 赞/ 164 阅读

相关 python网络爬虫之BeautifulSoup库

如果没有这个库的话，请先安装，最简单的安装方式是，打开cmd，输入 pip install beautifulsoup4 1、Beautiful Soup类基本元素

逃离我推掉我的手/ 2022年06月01日 03:17/ 0 赞/ 342 阅读

相关 Python爬虫-BeautifulSoup

Python爬虫-BeautifulSoup Python爬虫-BeautifulSoup “美丽汤”的爱恨使用

太过爱你忘了你带给我的痛/ 2022年05月22日 03:20/ 0 赞/ 355 阅读

相关 python爬虫：BeautifulSoup库find_all ()、find()方法详解

find()和findAll()官方定义如下： findAll(tag, attributes, recursive, text, limit, keywords)

朱雀/ 2021年11月04日 23:46/ 0 赞/ 694 阅读