Python数据处理爬虫程序设计（人民网新闻）

雨点打透心脏的1/2处 2023-10-15 16:49 73阅读 0赞

目录  
目录… 错误！未定义书签。  
正文 4  
1绪论 4  
2相关技术介绍 4  
2.1网络爬虫技术 4  
2.1.1网络爬虫技术概述 4  
2.1.2python 的网络请求 4  
2.1.3如何解决网页的反爬问题 5  
3设计目的与要求 5  
3.1 程序设计的目的与要求 5  
4总体设计 5  
4.1 程序目录结构设计 5  
5详细设计 6  
5.1分析目标网站 6  
5.1.1URL 组成结构 6  
5.1.2分析网页 HTML 结构 7  
6数据结构设计描述，各模块（函数）的功能介绍 8  
6.1数据结构设计描述 8  
6.2主要函数的功能介绍 9  
7结果分析 11  
7.1运行结果及分析 11  
1.开始运行程序，输入爬取文章的开始日期，如图： 11  
2.输入爬取文章的结束日期如图 11  
3.回车后开始运行程序，如图： 12  
4.爬取文章完成后，写入本地，然后会自动结束程序： 12  
5.爬取完成后成功写入本地中，每个文章一个 txt： 13  
8 总结 14  
参考文献 14  
3设计目的与要求  
3.1程序设计的目的与要求

实现对人民日报（http://paper.people.com.cn/）新闻文章的下载。可以输入要爬取的日期以及结束日期，将这些日期内的文章全部爬取下来，以日期为名自动生成一个主存储目录，爬取到的文章保存写入 txt 文件中,每个文本的存储名字以日期加序号存储。  
本程序需要在 python 下，并且需要下载程序依赖的包才能运行。本程序需要用到的包主要有：requests、bs4、os、datetime。

4总体设计  
4.1程序目录结构设计

程序项目结构非常简单，一个主程序（paweb.py）,还有是根据日期分类的资源总目录， 总目录下自动根据日期生成存储文章的目录，再下面是是具体文章的 txt 文本，每个 txt 存储一篇文章。

import requests
    import bs4
    import os
    import datetime
    import time
    
    def fetchUrl(url):
        # 功能：访问 url 的网页，获取网页内容并返回
        # 参数：目标网页的 url
        # 返回：目标网页的 html 内容
    
        headers = {
        
            'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        }
    
        r = requests.get(url,headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        # 返回：目标网页的 html 内容
        return r.text
    
    
    def getPageList(year, month, day):
    
        # 功能：获取当天报纸的各版面的链接列表
        # 参数：年，月，日，改变年月日拼接成需要爬取的url
        #返回当天报纸的各版面的链接列表
    
        url = 'http://paper.people.com.cn/rmrb/html/' + year + '-' + month + '/' + day + '/nbs.D110000renmrb_01.htm'
        html = fetchUrl(url)
        bsobj = bs4.BeautifulSoup(html,'html.parser')
        temp = bsobj.find('div', attrs = {
        'id': 'pageList'})
        if temp:
            pageList = temp.ul.find_all('div', attrs = {
        'class': 'right_title-name'})
        else:
            pageList = bsobj.find('div', attrs = {
        'class': 'swiper-container'}).find_all('div', attrs = {
        'class': 'swiper-slide'})
        linkList = []
    
        for page in pageList:
            link = page.a["href"]
            url = 'http://paper.people.com.cn/rmrb/html/'  + year + '-' + month + '/' + day + '/' + link
            linkList.append(url)
        #返回当天报纸的各版面的链接列表
        return linkList

![在这里插入图片描述][9ae37ce2c9b142728833d4b97dbf2d32.png_pic_center]  
![在这里插入图片描述][5b82ff66bd76427d96f8f96b4eee1e13.png_pic_center]  
![在这里插入图片描述][87742d86d5414be584fddc6102aec1b3.png_pic_center]  
![在这里插入图片描述][129f93d68926441995a9aad194b59be4.png_pic_center]  
![在这里插入图片描述][b8b11d3adc0b4b9eb43552b7c62fb18c.png_pic_center]  
![在这里插入图片描述][7b70fa225e5d4dde84aa2d0cabc17152.png_pic_center]  
![在这里插入图片描述][abc593ce312341a1b7bd589a5ff5ee94.png_pic_center]  
![在这里插入图片描述][72964d7841ab486392ff4669b628bee1.png_pic_center]  
![在这里插入图片描述][3403e399ec2b4014a29bc72db098ee90.png_pic_center]  
![在这里插入图片描述][e82b6537c5774551b2798b61b74f30c8.png_pic_center]  
![在这里插入图片描述][383ebc6c812748abb1c3f7f20044c4cf.png_pic_center]  
![在这里插入图片描述][0440270205c449c0bac891f5f5aa386c.png_pic_center]  
![在这里插入图片描述][06327b8a99f841b4859a3c4d8d79d3eb.png_pic_center]  
![在这里插入图片描述][4c8f24020db145c9b9e2c9dae0f9485a.png_pic_center]  
![在这里插入图片描述][88725dfe248c46018dd9627efc3967ed.png_pic_center]  
![在这里插入图片描述][97fce26acb8b46e69f6ad67c6a262ab6.png_pic_center]  
![在这里插入图片描述][44393f702079477a9524472ddee45ee7.png_pic_center]

[9ae37ce2c9b142728833d4b97dbf2d32.png_pic_center]: https://img-blog.csdnimg.cn/9ae37ce2c9b142728833d4b97dbf2d32.png#pic_center
[5b82ff66bd76427d96f8f96b4eee1e13.png_pic_center]: https://img-blog.csdnimg.cn/5b82ff66bd76427d96f8f96b4eee1e13.png#pic_center
[87742d86d5414be584fddc6102aec1b3.png_pic_center]: https://img-blog.csdnimg.cn/87742d86d5414be584fddc6102aec1b3.png#pic_center
[129f93d68926441995a9aad194b59be4.png_pic_center]: https://img-blog.csdnimg.cn/129f93d68926441995a9aad194b59be4.png#pic_center
[b8b11d3adc0b4b9eb43552b7c62fb18c.png_pic_center]: https://img-blog.csdnimg.cn/b8b11d3adc0b4b9eb43552b7c62fb18c.png#pic_center
[7b70fa225e5d4dde84aa2d0cabc17152.png_pic_center]: https://img-blog.csdnimg.cn/7b70fa225e5d4dde84aa2d0cabc17152.png#pic_center
[abc593ce312341a1b7bd589a5ff5ee94.png_pic_center]: https://img-blog.csdnimg.cn/abc593ce312341a1b7bd589a5ff5ee94.png#pic_center
[72964d7841ab486392ff4669b628bee1.png_pic_center]: https://img-blog.csdnimg.cn/72964d7841ab486392ff4669b628bee1.png#pic_center
[3403e399ec2b4014a29bc72db098ee90.png_pic_center]: https://img-blog.csdnimg.cn/3403e399ec2b4014a29bc72db098ee90.png#pic_center
[e82b6537c5774551b2798b61b74f30c8.png_pic_center]: https://img-blog.csdnimg.cn/e82b6537c5774551b2798b61b74f30c8.png#pic_center
[383ebc6c812748abb1c3f7f20044c4cf.png_pic_center]: https://img-blog.csdnimg.cn/383ebc6c812748abb1c3f7f20044c4cf.png#pic_center
[0440270205c449c0bac891f5f5aa386c.png_pic_center]: https://img-blog.csdnimg.cn/0440270205c449c0bac891f5f5aa386c.png#pic_center
[06327b8a99f841b4859a3c4d8d79d3eb.png_pic_center]: https://img-blog.csdnimg.cn/06327b8a99f841b4859a3c4d8d79d3eb.png#pic_center
[4c8f24020db145c9b9e2c9dae0f9485a.png_pic_center]: https://img-blog.csdnimg.cn/4c8f24020db145c9b9e2c9dae0f9485a.png#pic_center
[88725dfe248c46018dd9627efc3967ed.png_pic_center]: https://img-blog.csdnimg.cn/88725dfe248c46018dd9627efc3967ed.png#pic_center
[97fce26acb8b46e69f6ad67c6a262ab6.png_pic_center]: https://img-blog.csdnimg.cn/97fce26acb8b46e69f6ad67c6a262ab6.png#pic_center
[44393f702079477a9524472ddee45ee7.png_pic_center]: https://img-blog.csdnimg.cn/44393f702079477a9524472ddee45ee7.png#pic_center