03网页解析器

短命女 2022-06-14 01:25 524阅读 0赞

##### 网页解析器 #####

从网页中提取有价值数据的工具,也会提取到网页中所有的url，用于后续的访问。
    也就是说网页解析器会将网页下载器得到的html网页字符串作为输入，最后提取到①价值数据②新URL列表（待爬取）

##### Python网页解析器 #####

###### 1.正则表达式(最直观，将网页当作是一个字符串，进行模糊匹配但如果对于较为复杂的文档，会相当复杂) ######

##### 2.html.parser（python自带） #####

##### 3.beautifulSoup（第三方插件） #####

##### 4.lxml #####

###### 其中，BeautifulSoup既可以使用html.parser又可以使用lxml作为它的解析器。 ######

正则是通过模糊匹配来进行爬取数据，而2,3,4则是结构化解析进行爬取数据。

##### 什么是结构化解析 #####

DOM（Document Object Model）树，以树的形式进行上下级的遍历和访问  
会将整个网页当作是一个Document对象  
![这里写图片描述][SouthEast]

##### Beautiful Soup #####

Python第三方库，用于HTML或XML中提取数据  
官网  
[https://www.crummy.com/software/BeautifulSoup/][https_www.crummy.com_software_BeautifulSoup]

官网下载Beautiful Soup最新版本4.6.0  
![这里写图片描述][SouthEast 1]  
之后使用  
import bs4  
print(bs4)  
来检测是否已经成功安装了beautifulSoup4

##### 网页解析器-Beautiful Soup语法 #####

①根据Html网页可以**创建一个BeautifulSoup对象**，创建这个对象的同时，就把这个文档加载为一个DOM树  
②然后根据DOM树，就可以进行各种**节点的搜索**  
这里面有两个方法  
find\_all方法：会搜索到所有满足条件的节点  
find方法：会搜索到第一个满足条件的节点  
其中find方法和find\_all方法的参数是完全一致的。节点搜索，也可根据节点的属性，名称和文字进行搜索。  
③得到节点后，我们就可以进行**节点的访问**。如节点的名称，节点的属性，节点的文字。

举个栗子  
Python  
节点名称：a  
节点属性：href=”123.html”  
class=”artical\_link”  
节点内容：Python  
from bs4 import BeautifulSoup

#### 根据HTML网页字符串创建BeautifulSoup对象 ####

soup = BeautifulSoup(  
‘html\_cont’,\#HTML文档字符串  
‘html.parser’, \#HTML解析器  
from\_encoding=’utf-8’ \#HTML文档编码  
)

##### 搜索节点（find\_all,find) #####

##### 方法：find\_all(name,attrs,string) #####

##### 查找所有标签为a的节点 #####

soup.find\_all(‘a’)

##### 查找所有标签为a,链接符合/view/123.html形式的节点 #####

soup.find\_all(‘a’,href=’/view/123.htm’)  
soup.find\_all(‘a’,href=re.compile(r’/view/123.htm’))

##### 查找所有标签为div ,class为abc，文字为Python的节点 #####

soup.find\_all(‘div’,class\_=’abc’,string=’Python’)

##### 访问节点的信息 #####

##### 获取查找到的节点的标签名字 #####

node.name

##### 获取查找到的a节点的href属性 #####

node\[‘href’\]

##### 获取查找到的a节点的链接文字 #####

node.get\_text()

[SouthEast]: /images/20220614/a9e5782a879e4602bcbaffa20a86efde.png
[https_www.crummy.com_software_BeautifulSoup]: https://www.crummy.com/software/BeautifulSoup/
[SouthEast 1]: /images/20220614/aa1be1d56d3948db94df40ecbd577114.png