python3 BeautifulSoup模块

ゝ一世哀愁。 2022-01-06 11:33 308阅读 0赞

### 一、安装下载： ###

![复制代码][copycode.gif]

1、安装：
    pip install beautifulsoup4
    
    2、可选择安装解析器：
    pip install lxml pip install html5lib 3、解析器比较：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <table> 
     <thead> 
      <tr> 
       <th>解析器</th> 
       <th>使用方法</th> 
       <th>优势</th> 
       <th>劣势</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td>Python标准库</td> 
       <td><span>BeautifulSoup(markup,&nbsp;<span>"html.parser")</span></span></td> 
       <td> 
        <ul> 
         <li>Python的内置标准库</li> 
         <li>执行速度适中</li> 
         <li>文档容错能力强</li> 
        </ul></td> 
       <td> 
        <ul> 
         <li>Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差</li> 
        </ul></td> 
      </tr> 
      <tr> 
       <td>lxml HTML 解析器</td> 
       <td><span>BeautifulSoup(markup,&nbsp;<span>"lxml")</span></span></td> 
       <td> 
        <ul> 
         <li>速度快</li> 
         <li>文档容错能力强</li> 
        </ul></td> 
       <td> 
        <ul> 
         <li>需要安装C语言库</li> 
        </ul></td> 
      </tr> 
      <tr> 
       <td>lxml XML 解析器</td> 
       <td> <p><span>BeautifulSoup(markup,&nbsp;<span>["lxml",&nbsp;<span>"xml"])</span></span></span></p> <p><span>BeautifulSoup(markup,&nbsp;<span>"xml")</span></span></p> </td> 
       <td> 
        <ul> 
         <li>速度快</li> 
         <li>唯一支持XML的解析器</li> 
        </ul></td> 
       <td> 
        <ul> 
         <li>需要安装C语言库</li> 
        </ul></td> 
      </tr> 
      <tr> 
       <td>html5lib</td> 
       <td><span>BeautifulSoup(markup,&nbsp;<span>"html5lib")</span></span></td> 
       <td> 
        <ul> 
         <li>最好的容错性</li> 
         <li>以浏览器的方式解析文档</li> 
         <li>生成HTML5格式的文档</li> 
        </ul></td> 
       <td> 
        <ul> 
         <li>速度慢</li> 
         <li>不依赖外部扩展</li> 
        </ul></td> 
      </tr> 
     </tbody> 
    </table></td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

![复制代码][copycode.gif]

###  二、BS的使用： ###

![复制代码][copycode.gif]

from bs4 import BeautifulSoup
    import requests,re
    req_obj = requests.get('https://www.baidu.com')
    soup = BeautifulSoup(req_obj.text,'lxml')
    
    '''标签查找'''
    print(soup.title)              #只是查找出第一个
    print(soup.find('title'))      #效果和上面一样
    print(soup.find_all('div'))    #查出所有的div标签
    
    '''获取标签里的属性'''
    tag = soup.div
    print(tag['class'])   #多属性的话，会返回一个列表
    print(tag['id'])      #查找标签的id属性
    print(tag.attrs)      #查找标签所有的属性，返回一个字典（属性名：属性值）
    
    '''标签包的字符串'''
    tag = soup.title
    print(tag.string)                 #获取标签里的字符串
    tag.string.replace_with("哈哈")    #字符串不能直接编辑，可以替换
    
    '''子节点的操作'''
    tag = soup.head
    print(tag.title)     #获取head标签后再获取它包含的子标签
    
    '''contents 和 .children'''
    tag = soup.body
    print(tag.contents)        #将标签的子节点以列表返回
    print([child for child in tag.children])      #输出和上面一样
    
    
    '''descendants'''
    tag = soup.body
    [print(child_tag) for child_tag in tag.descendants]    #获取所有子节点和子子节点
    
    '''strings和.stripped_strings'''
    tag = soup.body
    [print(str) for str in tag.strings]             #输出所有所有文本内容
    [print(str) for str in tag.stripped_strings]    #输出所有所有文本内容，去除空格或空行
    
    '''.parent和.parents'''
    tag = soup.title
    print(tag.parent)   　　　　　　　　　　　　　 #输出便签的父标签
    [print(parent) for parent in tag.parents]  #输出所有的父标签
    
    '''.next_siblings 和 .previous_siblings
        查出所有的兄弟节点
    '''
    
    '''.next_element 和 .previous_element
        下一个兄弟节点
    '''
    
    '''find_all的keyword 参数'''
    soup.find_all(id='link2')                   #查找所有包含 id 属性的标签
    soup.find_all(href=re.compile("elsie"))     #href 参数,Beautiful Soup会搜索每个标签的href属性:
    soup.find_all(id=True)                       #找出所有的有id属性的标签
    soup.find_all(href=re.compile("elsie"), id='link1')         #也可以组合查找
    soup.find_all(attrs={"属性名": "属性值"})  #也可以通过字典的方式查找

转载于:https://www.cnblogs.com/jasonLiu2018/p/10744030.html

[copycode.gif]: /images/20211227/3595e1fec4f4409bb7340948b1d425a6.png