BeautifulSoup的高级应用之 find findAll

清疚 2022-08-04 00:49 164阅读 0赞

**BeautifulSoup** 是python学习的重要组成部分，可用于帮助解析html/XML等内容，尤其是在爬取特定网页信息的时候，用于解析和检查在网上看到的那些乱七八糟而且不规范的HTML页面。至于BeautifulSoup 模块的安装可以参考[博客][Link 1]

至于如何获取网页内容，[可以查看博客内容总结。][Link 2]

这些方法的单数形式对应着某个复数形式，会找到所有符合要求的tag，以list的方式放回。他们的对应关系是：find->findall, findParent->findParents, findNextSibling->findNextSiblings…  
举一个简单的爬取百度网页的例子：

>import urllib
    >from bs4 import BeautifulSoup
    >url="http://www.baidu.com" #这里是需要爬取的网页
    >content=urllib.open(url).read() #这里是使用urllib模块的open函数打开url 再使用read函数读取网页内容 赋值给content
    >soup=BeautifulSoup(content) #这里是将content内容转化为BeautifulSoup格式的数据
    >print content #这里是输出网页html的内容

这里的BeautifulSoup(content)函数 在官网上的解释为：Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifying the parse tree. It commonly saves programmers hours or days of work.  
将复杂HTML文档转换成一个复杂的树形结构.每个节点都是Python对象.

**BeautifulSoup的主要函数使用**

from bs4 import BeautifulSoup
 html = """
 <html><head><title>The Dormouse's story</title></head>
 <body>
 The Dormouse's story
 Once upon a time there were three little sisters; and their names were
 <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
 and they lived at the bottom of a well.
 ...
 """
 soup=BeautifulSoup(html,'html.parser')
 print soup.prettify()

这里是一个读取html标签 然后通过prettify()函数输出标签的过程。这里输出soup对象的html标签有多种方法： 
1 **soup.prettify()** 
2 **soup.html** 
3 **soup.contents** 
4 **soup** 
另外使用**soup+标签名称**可以获取**html**标签中第一个匹配的标签内容，举例： 
print soup.p输出结果为：`The Dormouse's story` 
print soup.p.string **输出标签的内容** 结果为：`The Dormouse's story` 
另外输出标签内容还可以使用get\_text()函数：

pid = soup.find(href=re.compile("^http:")) #使用re正则匹配 后面有讲
    p1=soup.p.get_text()
    The Dormouse's story

**通过get函数获得标签的属性：**

soup=BeautifulSoup(html,'html.parser')
    pid = soup.findAll('a',{
       'class':'sister'})
    for i in pid:
        print i.get('href') #对每项使用get函数取得tag属性值
    http://example.com/elsie
    http://example.com/lacie
    http://example.com/tillie

对其他的标签也是同样可用的，并且输出的结果为文档中第一个匹配的对象，如果要搜索其他的标签需要使用find findAll函数。  
BeautifulSoup提供了强大的搜索函数find 和findall，这里的两个方法(findAll和 find)仅对Tag对象以及，顶层剖析对象有效。

**findAll(name, attrs, recursive, text, limit, \*\*kwargs)**

for link in soup.find_all('a'): #soup.find_all返回的为列表
        print(link.get('href'))
    # http://example.com/elsie
    # http://example.com/lacie
    # http://example.com/tillie

findAll也可以使用**标签的属性**搜索标签，寻找 id=”secondpara”的 p 标记，返回一个结果集：

> pid=soup.findAll('p',id='hehe') #通过tag的id属性搜索标签
 > print pid
 [The Dormouse's story]
 >pid = soup.findAll('p',{'id':'hehe'}) #通过字典的形式搜索标签内容，返回的为一个列表[]
 >print pid
 [The Dormouse's story]

**利用正则表达式**搜索tag标签内容：

>pid=soup.findAll(id=re.compile("he$")) #正则表达式的使用
 >print pid
 [The Dormouse's story]

**利用标签的多个属性值进行搜索：**

pp=soup.findAll('a',attrs={
 'href':re.compile('^http'),'id':'link1'}) #标签多个属性值进行搜索 这里的attrs不可省略,便签'a'是可以省略的 相当于一个限定标签符
 print pp
 #[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>] #输出结果为list

**对搜索结果的个数进行限制：** limit=n

pid = soup.findAll('a',limit=2) #限制搜索前两个匹配的结果
 #[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

**利用find\_all搜索返回一个列表：**

soup.find_all(["a", "b"]) 
 # [The Dormouse's story,
 # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

这里的find\_all函数参数中设置了一个列表的形式，包含了a和b两个标签，使结果以列表的形式返回。

**读取和修改属性**:

> p1 = soup.p
 > p1 #输出p1内容
 This is paragraphone.
 > p1['id'] #输出p1的id属性
 hehe
 >p1['id']='haha' #修改p1的id属性值
 >print p1['id']
 haha

BeautifulSoup中的find和findAll用法相同，不同之处为find返回的是findAll搜索值的第一个值。举例：

>soup=BeautifulSoup(html,'html.parser')
 >pid = soup.find(href=re.compile("^http:")) #这里也是使用re正则匹配
 >print pid
 <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>