Xpath实战一：解析爬取糗事百科段子

￡神魔★判官ぃ 2022-06-05 01:08 224阅读 0赞

#coding=utf-8
    import requests
    from lxml import etree
    
    def getHtml(url):  
        page = requests.get(url)  
        html = page.text  
        return html
    
    def getImg(html):
        texts = []
        html = etree.HTML(html)
        authors = html.xpath('//h2/text()')   #所有作者信息都在h2标签的文本里
        contents = html.xpath('//div[@class = "content"]//span[1]')  #span[1] 只选择第一个span标签的内容，有些第二个span标签内容是“查看全文”
        for content in contents:
            texts.append(content.xpath('string(.)'))  #过滤多个类似<br>标签，只选择文本
        votes = html.xpath('//*[@class = "stats-vote"]//i[@class = "number"]/text()')   #好笑数
        comments = html.xpath('//*[@class = "qiushi_comments"]//*[@class = "number"]/text()')  #回复数
        for x in zip(authors,texts,votes,comments):
            Enter = input()
            if Enter == 'Q' or Enter == 'q':
                return -1
            print("\n".join((s.strip() for s in x)))
        return 1
    
     
    if __name__=='__main__':
        url = "https://www.qiushibaike.com/hot/"
        html,i = getHtml(url),2
        print("开始读取数据，请按回车键...按Q键退出\n")
        while (getImg(html) == 1):
            print("\n第{}页\n".format(i))
            url = ("https://www.qiushibaike.com/hot/page/%s/" % str(i))
            html,i = getHtml(url),i+1

发表评论取消回复

表情：

评论列表（有 0 条评论，224人围观）

还没有评论，来说两句吧...

相关阅读

相关用Python爬取糗事百科段子，可视化后结果发现

![format_png][] 大家好，我是小五???? 生活真是太苦了，需要找点快乐的精神食粮支撑社畜生活，听说糗事百科段子挺多，今天就来看一看！糗事百科

悠悠/ 2023年01月11日 13:11/ 0 赞/ 133 阅读

相关爬虫实战：嗅事百科段子多页爬取

假如我们想爬取糗事百科( http://ww qiushibaike.com/)上的段子，也可以编写对应的Python网络爬虫实现。 ![20210117144421554

系统管理员/ 2023年01月07日 10:23/ 0 赞/ 146 阅读

相关【爬虫】多线程、多进程方式爬取糗事百科段子（xpath、etree）

1.简单版因为我们要爬取的网页结构比较简单，这里就不分析了，直接上代码 import time import requests from lx

Love The Way You Lie/ 2022年11月22日 00:12/ 0 赞/ 223 阅读

相关 Python爬取糗事百科段子

Python爬取糗事百科段子 -------------------- 糗事百科是一个原创的糗事笑话分享社区,糗百网友分享的搞笑段子，使用Python爬取段子 ![

超、凢脫俗/ 2022年10月23日 12:42/ 0 赞/ 204 阅读

相关 Python运用正则解析爬取糗事百科图片

文章目录前言爬取原理代码 -------------------- 前言这只是一个基础的爬取图片过程，其他图片的爬取大致过程也是这样

￡神魔★判官ぃ/ 2022年09月02日 03:56/ 0 赞/ 206 阅读

相关 Python爬虫实战(六)：爬取糗事百科段子

直接上代码： coding=utf-8 import requests from bs4 import Tag from bs

小鱼儿/ 2022年06月09日 11:47/ 0 赞/ 259 阅读

相关 [python3]爬虫实战一之爬取糗事百科段子

参考http://cuiqingcai.com/990.html。不过原文是python2.7.且糗事百科又改版了。这是最新版。本篇目标 > 1.抓取糗事百科热门

红太狼/ 2022年06月06日 00:56/ 0 赞/ 295 阅读

相关 Xpath实战一：解析爬取糗事百科段子

coding=utf-8 import requests from lxml import etree def getHtml(url

￡神魔★判官ぃ/ 2022年06月05日 01:08/ 0 赞/ 225 阅读

相关案例_(单线程)使用xpath爬取糗事百科

案例\_(单线程)使用xpath爬取糗事百科步骤如下: 首先通过xpath插件找出我们要爬取的信息的匹配规则 url = "https:

淩亂°似流年/ 2022年05月14日 12:37/ 0 赞/ 255 阅读

相关爬虫:爬取糗事百科数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

青旅半醒/ 2022年01月26日 04:45/ 0 赞/ 304 阅读