Python-网络爬虫之BeautifulSoup(2)

小灰灰 2022-06-12 07:11 318阅读 0赞

**一、find与findAll函数**  
find或findAll函数用于定位所需的html内容，定义如下：

findAll(tag,attributes,recursive,text,limit,keywords) find(tag,attributes,recursive,text,keywords)

其中findAll返回一组结果，而find只返回第一个结果  
①主要是使用前两个参数，使用时形如：

#查找clss为green或red的span标签及其内容
    nameList=bsObj.findAll("span",{
       "class"{
       "green","red"}) 
    for name in nameList:   #循环输出名字
        print(name.get_text())

值得注意的是，get\_text()表示去除结果中的所有标签，所以除了最终的结果输出，一般不建议这么做

②递归参数recursive是一个布尔变量  
设置为true，则会寻找标签参数的子标签，以及子标签的子标签，  
设置为false,则只会搜索一级标签  
findAll默认设置为true

③text  
用于匹配标签的内容而非标签的属性，使用形如：  
`nameList=bsObj.findAll(text=the prince)`  
则会寻找所有文本内容为”the price”的标签及其内容

④limit  
用于设置感兴趣的前几项标签，如limit=1则对应find函数

⑤keywords  
用于一些特殊条件的过滤，使用形如：  
`nameList=bsObj.findAll(id="text")`

**二、导航树**  
当你需要根据标签的位置寻找内容时，导航树非常有用  
以[模拟购物网站][Link 1]为例  
礼物栏本质是一个table，形如

-table #giftList     -tr         -th         -th         -th         -th     -tr #gift1         -td         -td         -td         -td             -img         ……  
    省略其他行

1.处理子标签和其他后代标签  
子标签（child）：父标签的下一级  
后代标签（descendant）：父标签下面所有级别的标签  
如table的子标签就是tr，而tr,th,td等都是table的后代标签

二者在使用上的区别：  
在使用children表示获取table的所有子标签时，会获得所有的tr以及其内容，包括各个td等；  
当使用descendants表示获取所有后代标签时，上面的内容全都有，与此同时还会重复出现各个td，作为单独的部分

2.处理兄弟标签  
表示除了本标签以外的其他相同标签  
一般为  
.next\_siblings/.findNextSiblings()  
.previous\_siblings/.find\_previous\_siblings等类型  
由于python及bs版本的原因，各个函数略有不同，有的可能已经失效，需要查阅文档具体确定

bsObj.find("table"{
       "id":"giftList"}).tr.next_siblings:

上述代码表示获取除了第一行以外的其他行

3.父标签  
.parent/.parents表示父标签  
用法和子标签类似，这里不再赘述

4.属性  
除了获取标签以及标签里面的内容，有时候，标签的属性也是需要的，如img标签里的href属性  
通过`myTag.attrs`可以获得某个标签的全部属性，返回结果是一个python字典对象  
可以通过形如  
`myTag.attrs["src"]`的形式获取对应属性

[Link 1]: http://www.pythonscraping.com/pages/page3.html