python爬新闻

朴灿烈づ我的快乐病毒、 2021-12-16 16:39 418阅读 0赞

import re
    from urllib import request
    from lxml import etree
    
    testurl="http://news.163.com/rank/"
    
    with request.urlopen(testurl) as f:
        print('Status:', f.status, f.reason)
        #网页的编码格式只取一次，默认所有的编码方式都是这个
        decode=(f.headers['Content-Type'].split(';')[1]).split('=')[1]
        data = f.read().decode(decode.lower())
        infos = re.findall(r'<div class="titleBar" id=".*?"><h2>(.*?)</h2><div class="more"><a href="(.*?)">.*?</a></div></div>', data, re.S)
        for i in range(len(infos)):
            print('%s-%s'%(i,infos[i][0]))
        print('选择新闻类型')
        k=input()
        if k.isdigit()and int(k)<len(infos):
            newpage=(request.urlopen(infos[int(k)][1]).read()).decode(decode.lower())
            dom=etree.HTML(newpage)
            items=dom.xpath('//tr/td/a/text()')
            urls=dom.xpath('//tr/td/a/@href')
            assert (len(items)==len(urls))
            print(len(items))
            for i in range(len(urls)):
                print(items[i])
                new=(request.urlopen(urls[i]).read()).decode(decode.lower())
                ncs=re.findall(r'<div id="endText" class="end-text">.*?</div>',data,re.S)
                newdom=etree.HTML(new)
                newitems=newdom.xpath("//div[@id='endText'and @class='post_text']/p/text()")
                for n in newitems:
                    print(n)
                print('=======================输入y继续')
                if 'y'==input():continue
                else:break;

转载于:https://www.cnblogs.com/zhisy/p/6832295.html

发表评论取消回复

表情：

评论列表（有 0 条评论，418人围观）

还没有评论，来说两句吧...

相关阅读

相关爬新闻内容

from selenium import webdriver import time 创建 Webwd 实例对象，指明使用chrome浏览器驱动

比眉伴天荒/ 2023年01月03日 04:16/ 0 赞/ 205 阅读

相关用selenium去爬新闻

from selenium import webdriver import time 创建 Webwd 实例对象，指明使用chrome浏览器驱动

港控/mmm°/ 2023年01月03日 04:16/ 0 赞/ 167 阅读

相关爬取网站新闻

军事新闻爬取光明网军事新闻国防科技信息网光明网军事新闻 import json import redis import

本是古典何须时尚/ 2022年12月10日 07:06/ 0 赞/ 302 阅读

相关（6）Python爬虫——爬取中新网新闻

工欲善其事，必先利其器。我们要进行数据挖掘，就必须先获取数据，获取数据的方法有很多种，其中一种就是爬虫。下面我们利用Python2.7，写一个爬虫，专门爬取中新网[http:/

ゞ浴缸里的玫瑰/ 2022年07月29日 08:48/ 0 赞/ 416 阅读

相关 python3爬取新浪新闻内容

代码如下： commentsUrl用于获取新闻评论数等json信息 commentsUrl = 'http://comment5.news.sina.com.

- 日理万妓/ 2022年07月12日 09:38/ 0 赞/ 335 阅读

相关 python3爬虫-爬取新浪新闻首页所有新闻标题

准备工作：安装requests和BeautifulSoup4。打开cmd，输入如下命令 pip install requests pip install Be

超、凢脫俗/ 2022年07月12日 09:21/ 0 赞/ 428 阅读

相关爬取全部校园新闻

0.从新闻url获取点击次数，并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) re

￡神魔★判官ぃ/ 2022年01月07日 13:23/ 0 赞/ 461 阅读

相关爬取全部的校园新闻

作业要求来自于[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941][https_edu.cnblogs.

╰+哭是因爲堅強的太久メ/ 2021年12月21日 01:34/ 0 赞/ 446 阅读

相关 python爬新闻

import re from urllib import request from lxml import etree testurl

朴灿烈づ我的快乐病毒、/ 2021年12月16日 16:39/ 0 赞/ 419 阅读

相关 python爬虫爬取腾讯新闻

python爬虫爬取腾讯新闻话不多说，直接上代码！ import requests from bs4 import BeautifulSoup

红太狼/ 2021年07月27日 01:32/ 0 赞/ 829 阅读