python爬虫之lxml库的基本使用(附实战训练以及应用)

Dear 丶 2023-09-30 15:48 28阅读 0赞

**源码请点赞收藏****关注后私信博主要**

**通过urllib库可以模拟请求 得到网页的内容 但是在大多数情况下我们并不需要整个网页 而知需要网页中某部分的请求 可以利用解析库lxml迅速 灵活的处理HTML或XML 提取需要的信息 另外 该库支持XPath的解析方式 效率也非常高**

**1：安装lxml库**

pip install lxml

也可以参考我这篇博客

[倒入库][Link 1]

**2：XPath语法速成**

Xpath XML路径语言 用于在XML文档中查找信息 它既适用于XML文档的搜索 也适用于HTML 其核心是按照规则 通过编写路径选择表达式来筛选节点

**2.1：绝对路径和相对路径**

绝对路径：用/表示从根节点开始选择

相对路径：用//表示选择任意位置的节点 而不考虑他们的位置

另外可以使用\*通配符来表示未知的元素

**2.2：选择分支定位**

存在多个元素想唯一定位可以用\[\]来选择分支

下面通过实战来巩固lxml库的用法

![fee601cc252e4ba0bf081271ceb545ae.png][]

![948cedc973a744f9b3de09fbf33d94b8.png][]

![350649761e4248148734dc05c4819134.png][]

**部分代码如下**

import  urllib
    import  urllib.request
    import  urllib.parse
    from lxml import  etree
    from urllib import  error
    import  lxml.html
    import  os
    import  time
    novel_base_url='http://www.qbiqu.com'
    
    novel_url= urllib.parse.urljoin(novel_base_url,'/50_50096')
    
    chapter_url_list=[]
    
    headers={
        'Host':'www.qbiqu.com',
        'Referer':'http://www.qbiqu.com/',
        'User-Agent':'Mozilla/5.0(Macintosh;intel Mac OS X 10_13_6)AppleWebKit/537.36(KHTML,like Gecko)Chrome/67.0.3396.99 Safari/537.36'
    }
    novel_save_dir=os.path.join(os.getcwd(),'novel_cache/')
    def parsing_chapter(url):
        req=urllib.request.Request(url=url,headers=headers)
        html= lxml.html.parse(urllib.request.urlopen(req))
        title=html.xpath('//h1/text()')[0]
        contents=html.xpath('//*[@id="content"]/text()')
        content=""
        for i in contents:
            content+=i.strip()
        save_novel(title,content)
    def save_novel(name,content):
        try:
            with open(novel_save_dir+name+'.txt',"w+") as f:
                f.write(content.strip())
        except(error.HTTPError,OSError)as reason:
            print(str(reason))
        else:
            print("下载完成"+name)
    
    
            chapter_url_list.append(urllib.parse.urljoin(novel_base_url,href))
        print(chapter_url_list)
    if __name__ == "__main__":
    
     if not os.path.exists(novel_save_dir):
         os.mkdir(novel_save_dir)
     fetch_chapter_urls()
     for chapter in chapter_url_list:
         time.sleep(1)
         parsing_chapter(chapter)

**源码请点赞收藏****关注后私信博主要**

[Link 1]: https://blog.csdn.net/jiebaoshayebuhui/article/details/126281509?spm=1001.2014.3001.5502
[fee601cc252e4ba0bf081271ceb545ae.png]: https://img-blog.csdnimg.cn/fee601cc252e4ba0bf081271ceb545ae.png
[948cedc973a744f9b3de09fbf33d94b8.png]: https://img-blog.csdnimg.cn/948cedc973a744f9b3de09fbf33d94b8.png
[350649761e4248148734dc05c4819134.png]: https://img-blog.csdnimg.cn/350649761e4248148734dc05c4819134.png