BeautifulSoup 知识小点

忘是亡心i 2022-06-06 09:23 138阅读 0赞

### 序 ###

众所周知，requests+BeautifulSoup是编写简单爬虫的利器。  
同时BeautifulSoup提供了很多的方式去定位元素，通常我们定位一个元素的方式有多种，xpath定位，css定位，id定位等等。

### 知识碎片 ###

#### string和get\_text()的区别 ####

html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> """

拿官网上的一个简单的例子,并且使用bs4处理后，要获取title中的使用

soup.title.string

但是当，我们在`<title>The Dormouse's story</title>`多加入一个`<a>hello work</a>`使之变成`<title>The Dormouse's story<a>hello work</a></title>`此时string的返回值则为None

get\_text()方法则能够返回期望的值。

同时在不少的博客教程中也采用了.text这个方法。  
查看源码

def get_text(self, separator=u"", strip=False, types=(NavigableString, CData)):
            """ Get all child strings, concatenated using the given separator. """
            return separator.join([s for s in self._all_strings(
                        strip, types=types)])
        getText = get_text
        text = property(get_text)

最后两句表明，使用.text和getText这两种方式，都是调用的get\_text()这个方法。因此他们并没有任何的区别。

### soup.select() ###

该方法不常被使用到，属于css选择器语法。  
css选择器语法：[http://www.w3school.com.cn/cssref/css\_selectors.asp][http_www.w3school.com.cn_cssref_css_selectors.asp]

### 正则表达式 ###

bs4同时支持和正则表达式的语法

import re
    for tag in soup.find_all(re.compile("^b")):
        print(tag.name)

寻找到以b开头的标签。

使用何种方式定位元素需要根据自己的具体要求来选择，但是当遇到不好定位的元素时，多了解几种定位方式就变得非常重要了。

### 参考资料 ###

官方文档：[https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html][https_www.crummy.com_software_BeautifulSoup_bs4_doc_index.zh.html]  
css选择器语法：[http://www.w3school.com.cn/cssref/css\_selectors.asp][http_www.w3school.com.cn_cssref_css_selectors.asp]

[http_www.w3school.com.cn_cssref_css_selectors.asp]: http://www.w3school.com.cn/cssref/css_selectors.asp
[https_www.crummy.com_software_BeautifulSoup_bs4_doc_index.zh.html]: https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html