初级爬虫实战——巴黎圣母院新闻

超、凢脫俗 2024-04-06 15:36 83阅读 0赞

#### 文章目录 ####

*  发现宝藏
 *  一、 目标
 *  二、简单分析网页
 *   *  1. 寻找所有新闻
     *  2. 分析模块、版面和文章
 *  三、爬取新闻
 *   *  1. 爬取模块
     *  2. 爬取版面
     *  3. 爬取文章
 *  四、完整代码
 *  五、效果展示

## 发现宝藏 ##

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【[宝藏入口][Link 1]】。

## 一、 目标 ##

爬取`https://news.nd.edu/`的字段,包含标题、内容，作者，发布时间，链接地址，文章快照 (可能需要翻墙才能访问)

## 二、简单分析网页 ##

### 1. 寻找所有新闻 ###

*  点击查看更多最新新闻>>点击查看档案  
    ![在这里插入图片描述][fbfa4e31879c4c009af9093546bbc81d.png]
 *  我们发现有两种方式查看所有新闻，一种是按照类别，一种是按照时间，经过进一步的观察我们发现按照时间查看新闻会更全，所以我们选择按照年份（按照月份和按照年份一样的效果）爬取

![在这里插入图片描述][9c075ee12a0949e89cf9707fa0f54846.png]

### 2. 分析模块、版面和文章 ###

*  为了规范爬取的命名与逻辑，我们分别用模块、版面、文章三部分来进行爬取，具体如下
 *  一个网站的全部新闻由数个模块组成，只要我们遍历爬取了所有模块就获得的该网站的所有新闻

![在这里插入图片描述][f1c867a80bca44f494e4a76e7054941b.png]

*  一个模块由数页版面组成，只要遍历了所有版面，我们就爬取了一个模块

![在这里插入图片描述][381d9f9b0bd54a6e9624a63821e876b9.png]

*  一个版面里有数页文章，由于该网站模块下的列表同时也是一篇文章，所以一个版面里只有一篇文章

![在这里插入图片描述][525394f25ca344c0b48e1e0a73b607ad.png]

*  一篇文章有标题、出版时间和作者信息、文章正文和文章图片等信息

![在这里插入图片描述][5eeaa10d2f654085895843150f5f0205.png]

## 三、爬取新闻 ##

### 1. 爬取模块 ###

*  按照如下步骤找到包含模块的dom结构并发送request请求并用bs4库去解析

![在这里插入图片描述][1cc6a0d4831347099c4d32c8bb5c239e.png]![在这里插入图片描述][4113129b80a3473c82ac5ef232bb6cda.png]

class MitnewsScraper:
        def __init__(self, root_url, model_url, img_output_dir):
            self.root_url = root_url
            self.model_url = model_url
            self.img_output_dir = img_output_dir
            self.headers = {
        
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                              'Chrome/122.0.0.0 Safari/537.36',
                'Cookie': '替换成你自己的',
            }
            
    ...
    
    def run():
        # 网站根路径
        root_url = 'https://news.nd.edu/'
        # 文章图片保存路径
        output_dir = 'D://imgs//nd-news'
        response = requests.get('https://news.nd.edu/news/archives/')
        soup = BeautifulSoup(response.text, 'html.parser')
        # 模块地址数组
        model_urls = []
        model_url_array = soup.find('ul', 'archives-by-year archives-list').find_all('li')
        for item in model_url_array:
            model_url = root_url + item.find('a').get('href')
            model_urls.append(model_url)
        for model_url in model_urls:
            # 初始化类
            scraper = MitnewsScraper(root_url, model_url, output_dir)
            # 遍历版面
            scraper.catalogue_all_pages()
    
    
    if __name__ == "__main__":
        run()

### 2. 爬取版面 ###

*  首先我们确认模块下版面切页相关的参数传递，通过切换页面我们不难发现切换页面是通过在路径加上 /page/页数 来实现的

![在这里插入图片描述][d2f1cb298e8444148a87aeb0650191a3.png]

*  于是我们接着寻找模块下有多少页版面，通过观察控制台我们发现最后一页是在 类名为 pagination 的 div 标签里的倒数第二个 a 标签文本里

![在这里插入图片描述][24db65960c1446da97005f4d677d2d48.png]

# 获取一个模块有多少版面
        def catalogue_all_pages(self):
            response = requests.get(self.model_url, headers=self.headers)
            soup = BeautifulSoup(response.text, 'html.parser')
            try:
                model_name = self.model_url
                len_catalogues_page = len(soup.find('div', 'pagination').find_all('a'))
                list_catalogues_page = soup.find('div', 'pagination').find_all('a')
                num_pages = list_catalogues_page[len_catalogues_page - 2].get_text()
                print(self.model_url + ' 模块一共有' + num_pages + '页版面')
                for page in range(1, num_pages + 1):
                    print(f"========start catalogues page {
          page}" + "/" + str(num_pages) + "========")
                    self.parse_catalogues(page)
                    print(f"========Finished catalogues page {
          page}" + "/" + str(num_pages) + "========")
            except Exception as e:
                print(f'Error: {
          e}')
                traceback.print_exc()

![在这里插入图片描述][b70e85cd4f724cef9c44ea1ff05e3c09.png]

*  根据模块地址和page参数拼接完整版面地址，访问并解析找到对应的版面列表

![在这里插入图片描述][6fd0236e5c5c4ee7a33415c5ca26466b.png]

# 解析版面列表里的版面
        def parse_catalogues(self, page):
            url = self.model_url + '/page/' + str(page)
            response = requests.get(url,  headers=self.headers)
            if response.status_code == 200:
                soup = BeautifulSoup(response.text, 'html.parser')
                catalogue_list = soup.find('ol', 'no-bullets list-news')
                catalogues_list = catalogue_list.find_all('li')
                for index, catalogue in enumerate(catalogues_list):
                    print(f"========start catalogue {
          index+1}" + "/" + "30========")

![在这里插入图片描述][e69d11d5c4654df3ab8feb19abf97b59.png]

*  遍历版面列表，获取版面标题

![在这里插入图片描述][c2eede63fbab43a69cfa95edb5fa6d91.png]

# 版面标题
    	catalogue_title = catalogue.find('div', 'card-body hover-more').find('h2').find('a').get_text(strip=True)

![在这里插入图片描述][526c897a7e264b808b686376042cd4c4.png]

*  获取出版时间

![在这里插入图片描述][f0573067f47c4856ba9c8ad7090a1d2c.png]

# 操作时间
    	date = datetime.now()
    	# 更新时间
    	publish_time = catalogue.find('time').get('datetime')
    	#  将日期字符串转换为datetime对象
    	updatetime = datetime.fromisoformat(publish_time)

![在这里插入图片描述][66361a58b1a7427b8a3cedd8a5ceb8de.png]

*  保存版面url和版面id, 由于该新闻是一个版面对应一篇文章，所以版面url和文章url是一样的，而且文章没有明显的标识，我们把地址后缀作为文章id，版面id则是文章id后面加上个01

![在这里插入图片描述][823d0dd9f52042a8a3c123d4b013811a.png]

![在这里插入图片描述][e18c2318c8544b5084a72a74f4640e74.png]

# 版面url
    	catalogue_href = catalogue.find('h2').find('a').get('href')
    	catalogue_url = self.root_url + catalogue_href
    	# 正则表达式
    	pattern = r'/news/(.+?)/$'
    	# 使用 re.search() 来搜索匹配项
    	match = re.search(pattern, catalogue_url)
    	# 版面id
    	catalogue_id = match.group(1)

![在这里插入图片描述][2d6e8c3ba84047eca34b4f1a08938864.png]

*  保存版面信息到mogodb数据库（由于每个版面只有一篇文章，所以版面文章数量cardsize的值赋为1）

# 连接 MongoDB 数据库服务器
        client = MongoClient('mongodb://localhost:27017/')
        # 创建或选择数据库
        db = client['nd-news']
        # 创建或选择集合
        catalogues_collection = db['catalogues']
        # 插入示例数据到 catalogues 集合
        catalogue_data = {
        
            'id': catalogue_id,
            'date': date,
            'title': catalogue_title,
            'url': catalogue_url,
            'cardSize': 1,
            'updatetime': updatetime
        }
        # 在插入前检查是否存在相同id的文档
        existing_document = catalogues_collection.find_one({
        'id': catalogue_id})
    
        # 如果不存在相同id的文档，则插入新文档
        if existing_document is None:
            catalogues_collection.insert_one(catalogue_data)
            print("[爬取版面]版面 " + catalogue_url + " 已成功插入！")
        else:
            print("[爬取版面]版面 " + catalogue_url + " 已存在！")
        print(f"========finsh catalogue {
          index+1}" + "/" + "10========")
            return True
        else:
            raise Exception(f"Failed to fetch page {
          page}. Status code: {
          response.status_code}")

### 3. 爬取文章 ###

*  由于一个版面对应一篇文章，所以版面url 、更新时间、标题和文章是一样的，并且按照设计版面id和文章id的区别只是差了个01，所以可以传递版面url、版面id、更新时间和标题四个参数到解析文章的函数里面
 *  获取文章id，文章url，文章更新时间和当下操作时间

# 解析版面列表里的版面
        def parse_catalogues(self, page):
            ...
            self.parse_cards_list(catalogue_url, catalogue_id, updatetime, catalogue_title)
            ...
    
        # 解析文章列表里的文章
        def parse_cards_list(self, url, catalogue_id, cardupdatetime, cardtitle):
            card_response = requests.get(url, headers=self.headers)
            soup = BeautifulSoup(card_response.text, 'html.parser')
            # 对应的版面id
            card_id = catalogue_id
            # 文章标题
            card_title = cardtitle
            # 文章更新时间
            updateTime = cardupdatetime
            # 操作时间
            date = datetime.now()

![在这里插入图片描述][9c0d53dce9b74bf586eeb2b1a5ba3d1b.png]

*  获取文章作者

![在这里插入图片描述][d0ef791f57324f3c971ae2a0705073f7.png]

# 文章作者
        author = soup.find('article', 'article span-md-2').find('p', 'author').find('span', property='name').get_text()

![在这里插入图片描述][c44509d1ae1149d3b064f588f4f8d1d0.png]

*  获取文章原始htmldom结构，并删除无用的部分（以下仅是部分举例），用html\_content字段保留原始dom结构

![在这里插入图片描述][c2de6ab59dae4fb7a7bf000a5da95506.png]  
![在这里插入图片描述][2a2b0de457e34d469a0fd2ec9b01a46c.png]![在这里插入图片描述][8e51dd5b5c7e4704adcabaa71cd5a33c.png]

# 原始htmldom结构
        html_dom = soup.find('article', 'article span-md-2')
        html_cut1 = html_dom.find_all('div', 'meta-share-group')[0].find('div', 'social-share')
        html_cut2 = html_dom.find_all('div', 'meta-share-group')[1]
        html_cut3 = html_dom.find('div', 'section-profile profile-1')
        # 移除元素
         if html_cut1:
            html_cut1.extract()
        if html_cut2:
            html_cut2.extract()
        if html_cut3:
            html_cut3.extract()
        html_content = html_dom

![在这里插入图片描述][e851d6084a244911b97a4d94c191b4ed.png]  
![在这里插入图片描述][d2674a3acf814f1ba67149b0720c93b3.png]

*  进行文章清洗，保留文本，去除标签，用content保留清洗后的文本

# 解析文章列表里的文章
    def parse_cards_list(self, url, catalogue_id, cardupdatetime, cardtitle):
        ...
        # 增加保留html样式的源文本
        origin_html = html_dom.prettify()  # String
        # 转义网页中的图片标签
        str_html = self.transcoding_tags(origin_html)
        # 再包装成
        temp_soup = BeautifulSoup(str_html, 'html.parser')
        # 反转译文件中的插图
        str_html = self.translate_tags(temp_soup.text)
        # 绑定更新内容
        content = self.clean_content(str_html)
        ...
    
     # 工具 转义标签
        def transcoding_tags(self, htmlstr):
            re_img = re.compile(r'\s*<(img.*?)>\s*', re.M)
            s = re_img.sub(r'\n @@##\1##@@ \n', htmlstr)  # IMG 转义
            return s
    
        # 工具 转义标签
        def translate_tags(self, htmlstr):
            re_img = re.compile(r'@@##(img.*?)##@@', re.M)
            s = re_img.sub(r'<\1>', htmlstr)  # IMG 转义
            return s
    
        # 清洗文章
        def clean_content(self, content):
            if content is not None:
                content = re.sub(r'\r', r'\n', content)
                content = re.sub(r'\n{2,}', '', content)
                content = re.sub(r' {6,}', '', content)
                content = re.sub(r' {3,}\n', '', content)
                content = re.sub(r'<img src="../../../image/zxbl.gif"/>', '', content)
                content = content.replace(
                    '<img border="0" src="****处理标记：[Article]时， 字段 [SnapUrl] 在数据源中没有找到! ****"/> ', '')
                content = content.replace(
                    ''' <!--/enpcontent<INPUT type=checkbox value=0 name=titlecheckbox sourceid="<Source>SourcePh " style="display:none">''',
                    '') \
                    .replace(' <!--enpcontent', '').replace('<TABLE>', '')
                content = content.replace('<P>', '').replace('<\P>', '').replace(' ', ' ')
            return content

*  下载保存文章图片，保存到d盘目录下的imgs/nd-news文件夹下，每篇文章图片用一个命名为文章id的文件夹命名，并用字段illustrations保存图片的绝对路径和相对路径

![在这里插入图片描述][a46dcdbc184f47f3afea924f71335884.png]

# 解析文章列表里的文章
    def parse_cards_list(self, url, catalogue_id, cardupdatetime, cardtitle):
        ...
        # 下载图片
        imgs = []
        img_array = soup.find('div', 'article-content entry-content').find_all('img')
        if len(img_array) is not None:
            for item in img_array:
                img_url = self.root_url + item.get('src')
                imgs.append(img_url)
        if len(imgs) != 0:
            # 下载图片
            illustrations = self.download_images(imgs, card_id)
     
     # 下载图片
    def download_images(self, img_urls, card_id):
        result = re.search(r'[^/]+$', card_id)
        last_word = result.group(0)
        # 根据card_id创建一个新的子目录
        images_dir = os.path.join(self.img_output_dir, str(last_word))     if not os.path.exists(images_dir):
                os.makedirs(images_dir)
                downloaded_images = []
                for index, img_url in enumerate(img_urls):
                    try:
                        response = requests.get(img_url, stream=True, headers=self.headers)
                        if response.status_code == 200:
                            # 从URL中提取图片文件名
                            img_name_with_extension = img_url.split('/')[-1]
                            pattern = r'^[^?]*'
                            match = re.search(pattern, img_name_with_extension)
                            img_name = match.group(0)
    
                            # 保存图片
                            with open(os.path.join(images_dir, img_name), 'wb') as f:
                                f.write(response.content)
                            downloaded_images.append([img_url, os.path.join(images_dir, img_name)])
                        print(f'[爬取文章图片]文章id为{
          card_id}的图片已保存到本地')
                except requests.exceptions.RequestException as e:
                    print(f'请求图片时发生错误：{
          e}')
                except Exception as e:
                    print(f'保存图片时发生错误：{
          e}')
            return downloaded_images
        # 如果文件夹存在则跳过
        else:
            print(f'[爬取文章图片]文章id为{
          card_id}的图片文件夹已经存在')
            return []

![在这里插入图片描述][e7154b623c95426b971560fdf216f1a4.png]

*  保存文章数据到数据库

# 连接 MongoDB 数据库服务器
        client = MongoClient('mongodb://localhost:27017/')
        # 创建或选择数据库
        db = client['nd-news']
        # 创建或选择集合
        cards_collection = db['cards']
        # 插入示例数据到 cards 集合
        card_data = {
        
            'id': card_id,
            'catalogueId': catalogue_id,
            'type': 'nd-news',
            'date': date,
            'title': card_title,
            'author': author,
            'updatetime': updateTime,
            'url': url,
            'html_content': str(html_content),
            'content': content,
            'illustrations': illustrations,
        }
        # 在插入前检查是否存在相同id的文档
        existing_document = cards_collection.find_one({
        'id': card_id})
    
        # 如果不存在相同id的文档，则插入新文档
        if existing_document is None:
            cards_collection.insert_one(card_data)
            print("[爬取文章]文章 " + url + " 已成功插入！")
        else:
            print("[爬取文章]文章 " + url + " 已存在！")

## 四、完整代码 ##

import os
    from datetime import datetime
    import requests
    from bs4 import BeautifulSoup
    from pymongo import MongoClient
    import re
    import traceback
    
    
    class MitnewsScraper:
        def __init__(self, root_url, model_url, img_output_dir):
            self.root_url = root_url
            self.model_url = model_url
            self.img_output_dir = img_output_dir
            self.headers = {
        
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                              'Chrome/122.0.0.0 Safari/537.36',
                'Cookie': ''
            }
    
        # 获取一个模块有多少版面
        def catalogue_all_pages(self):
            response = requests.get(self.model_url, headers=self.headers)
            soup = BeautifulSoup(response.text, 'html.parser')
            try:
                model_name = self.model_url
                len_catalogues_page = len(soup.find('div', 'pagination').find_all('a'))
                list_catalogues_page = soup.find('div', 'pagination').find_all('a')
                num_pages = list_catalogues_page[len_catalogues_page - 2].get_text()
                print(self.model_url + ' 模块一共有' + num_pages + '页版面')
                for page in range(1, int(num_pages) + 1):
                    print(f"========start catalogues page {
          page}" + "/" + str(num_pages) + "========")
                    self.parse_catalogues(page)
                    print(f"========Finished catalogues page {
          page}" + "/" + str(num_pages) + "========")
            except Exception as e:
                print(f'Error: {
          e}')
                traceback.print_exc()
    
        # 解析版面列表里的版面
        def parse_catalogues(self, page):
            url = self.model_url + '/page/' + str(page)
            response = requests.get(url,  headers=self.headers)
            if response.status_code == 200:
                soup = BeautifulSoup(response.text, 'html.parser')
                catalogue_list = soup.find('ol', 'no-bullets list-news')
                catalogues_list = catalogue_list.find_all('li')
                for index, catalogue in enumerate(catalogues_list):
                    print(f"========start catalogue {
          index+1}" + "/" + "30========")
                    # 版面标题
                    catalogue_title = catalogue.find('div', 'card-body hover-more').find('h2').find('a').get_text(strip=True)
    
                    # 操作时间
                    date = datetime.now()
                    # 更新时间
                    publish_time = catalogue.find('time').get('datetime')
                    #  将日期字符串转换为datetime对象
                    updatetime = datetime.fromisoformat(publish_time)
    
                    # 版面url
                    catalogue_href = catalogue.find('h2').find('a').get('href')
                    catalogue_url = self.root_url + catalogue_href
                    # 正则表达式
                    pattern = r'/news/(.+?)/$'
                    # 使用 re.search() 来搜索匹配项
                    match = re.search(pattern, catalogue_url)
                    # 版面id
                    catalogue_id = match.group(1)
    
                    self.parse_cards_list(catalogue_url, catalogue_id, updatetime, catalogue_title)
    
                    # 连接 MongoDB 数据库服务器
                    client = MongoClient('mongodb://localhost:27017/')
                    # 创建或选择数据库
                    db = client['nd-news']
                    # 创建或选择集合
                    catalogues_collection = db['catalogues']
                    # 插入示例数据到 catalogues 集合
                    catalogue_data = {
        
                        'id': catalogue_id,
                        'date': date,
                        'title': catalogue_title,
                        'url': catalogue_url,
                        'cardSize': 1,
                        'updatetime': updatetime
                    }
                    # 在插入前检查是否存在相同id的文档
                    existing_document = catalogues_collection.find_one({
        'id': catalogue_id})
    
                    # 如果不存在相同id的文档，则插入新文档
                    if existing_document is None:
                        catalogues_collection.insert_one(catalogue_data)
                        print("[爬取版面]版面 " + catalogue_url + " 已成功插入！")
                    else:
                        print("[爬取版面]版面 " + catalogue_url + " 已存在！")
                    print(f"========finsh catalogue {
          index+1}" + "/" + "10========")
                return True
            else:
                raise Exception(f"Failed to fetch page {
          page}. Status code: {
          response.status_code}")
    
        # 解析文章列表里的文章
        def parse_cards_list(self, url, catalogue_id, cardupdatetime, cardtitle):
            card_response = requests.get(url, headers=self.headers)
            soup = BeautifulSoup(card_response.text, 'html.parser')
            # 对应的版面id
            card_id = catalogue_id
            # 文章标题
            card_title = cardtitle
            # 文章更新时间
            updateTime = cardupdatetime
            # 操作时间
            date = datetime.now()
    
            # 文章作者
            author = soup.find('article', 'article span-md-2').find('p', 'author').find('span', property='name').get_text()
    
            # 原始htmldom结构
            html_dom = soup.find('article', 'article span-md-2')
            html_cut1 = html_dom.find_all('div', 'meta-share-group')[0].find('div', 'social-share')
            html_cut2 = html_dom.find_all('div', 'meta-share-group')[1]
            html_cut3 = html_dom.find('div', 'section-profile profile-1')
            # 移除元素
            if html_cut1:
                html_cut1.extract()
            if html_cut2:
                html_cut2.extract()
            if html_cut3:
                html_cut3.extract()
            html_content = html_dom
    
            # 增加保留html样式的源文本
            origin_html = html_dom.prettify()  # String
            # 转义网页中的图片标签
            str_html = self.transcoding_tags(origin_html)
            # 再包装成
            temp_soup = BeautifulSoup(str_html, 'html.parser')
            # 反转译文件中的插图
            str_html = self.translate_tags(temp_soup.text)
            # 绑定更新内容
            content = self.clean_content(str_html)
            # 下载图片
            imgs = []
            img_array = soup.find('div', 'article-content entry-content').find_all('img')
            if len(img_array) is not None:
                for item in img_array:
                    img_url = self.root_url + item.get('src')
                    imgs.append(img_url)
            if len(imgs) != 0:
                # 下载图片
                illustrations = self.download_images(imgs, card_id)
            # 连接 MongoDB 数据库服务器
            client = MongoClient('mongodb://localhost:27017/')
            # 创建或选择数据库
            db = client['nd-news']
            # 创建或选择集合
            cards_collection = db['cards']
            # 插入示例数据到 cards 集合
            card_data = {
        
                'id': card_id,
                'catalogueId': catalogue_id,
                'type': 'nd-news',
                'date': date,
                'title': card_title,
                'author': author,
                'updatetime': updateTime,
                'url': url,
                'html_content': str(html_content),
                'content': content,
                'illustrations': illustrations,
            }
            # 在插入前检查是否存在相同id的文档
            existing_document = cards_collection.find_one({
        'id': card_id})
    
            # 如果不存在相同id的文档，则插入新文档
            if existing_document is None:
                cards_collection.insert_one(card_data)
                print("[爬取文章]文章 " + url + " 已成功插入！")
            else:
                print("[爬取文章]文章 " + url + " 已存在！")
    
    
        # 下载图片
        def download_images(self, img_urls, card_id):
            result = re.search(r'[^/]+$', card_id)
            last_word = result.group(0)
    
            # 根据card_id创建一个新的子目录
            images_dir = os.path.join(self.img_output_dir, str(last_word))
            if not os.path.exists(images_dir):
                os.makedirs(images_dir)
                downloaded_images = []
                for index, img_url in enumerate(img_urls):
                    try:
                        response = requests.get(img_url, stream=True, headers=self.headers)
                        if response.status_code == 200:
                            # 从URL中提取图片文件名
                            img_name_with_extension = img_url.split('/')[-1]
                            pattern = r'^[^?]*'
                            match = re.search(pattern, img_name_with_extension)
                            img_name = match.group(0)
    
                            # 保存图片
                            with open(os.path.join(images_dir, img_name), 'wb') as f:
                                f.write(response.content)
                            downloaded_images.append([img_url, os.path.join(images_dir, img_name)])
                            print(f'[爬取文章图片]文章id为{
          card_id}的图片已保存到本地')
                    except requests.exceptions.RequestException as e:
                        print(f'请求图片时发生错误：{
          e}')
                    except Exception as e:
                        print(f'保存图片时发生错误：{
          e}')
                return downloaded_images
            # 如果文件夹存在则跳过
            else:
                print(f'[爬取文章图片]文章id为{
          card_id}的图片文件夹已经存在')
                return []
    
        # 工具 转义标签
        def transcoding_tags(self, htmlstr):
            re_img = re.compile(r'\s*<(img.*?)>\s*', re.M)
            s = re_img.sub(r'\n @@##\1##@@ \n', htmlstr)  # IMG 转义
            return s
    
        # 工具 转义标签
        def translate_tags(self, htmlstr):
            re_img = re.compile(r'@@##(img.*?)##@@', re.M)
            s = re_img.sub(r'<\1>', htmlstr)  # IMG 转义
            return s
    
        # 清洗文章
        def clean_content(self, content):
            if content is not None:
                content = re.sub(r'\r', r'\n', content)
                content = re.sub(r'\n{2,}', '', content)
                content = re.sub(r' {6,}', '', content)
                content = re.sub(r' {3,}\n', '', content)
                content = re.sub(r'<img src="../../../image/zxbl.gif"/>', '', content)
                content = content.replace(
                    '<img border="0" src="****处理标记：[Article]时， 字段 [SnapUrl] 在数据源中没有找到! ****"/> ', '')
                content = content.replace(
                    ''' <!--/enpcontent<INPUT type=checkbox value=0 name=titlecheckbox sourceid="<Source>SourcePh " style="display:none">''',
                    '') \
                    .replace(' <!--enpcontent', '').replace('<TABLE>', '')
                content = content.replace('<P>', '').replace('<\P>', '').replace(' ', ' ')
            return content
    
    
    def run():
        # 网站根路径
        root_url = 'https://news.nd.edu/'
        # 文章图片保存路径
        output_dir = 'D://imgs//nd-news'
        response = requests.get('https://news.nd.edu/news/archives/')
        soup = BeautifulSoup(response.text, 'html.parser')
        # 模块地址数组
        model_urls = []
        model_url_array = soup.find('ul', 'archives-by-year archives-list').find_all('li')
        for item in model_url_array:
            model_url = root_url + item.find('a').get('href')
            model_urls.append(model_url)
        for model_url in model_urls:
            # 初始化类
            scraper = MitnewsScraper(root_url, model_url, output_dir)
            # 遍历版面
            scraper.catalogue_all_pages()
    
    
    if __name__ == "__main__":
        run()

## 五、效果展示 ##

![在这里插入图片描述][8ed30985a981461f8b438636af9ebbb2.png]

![在这里插入图片描述][cc8b0d64bd9f4aaf88a2e63d629839a2.png]  
![在这里插入图片描述][92de924a030041468799b7aeb9a95261.png]  
![在这里插入图片描述][9b71b57b0627451a97151672099de462.png]

![在这里插入图片描述][ca1cb7768ff24f099f4d1295fb443e75.png]

[Link 1]: https://www.captainbed.cn/dl
[fbfa4e31879c4c009af9093546bbc81d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/11ae24fe6e4e4754a640eafcbbe5887c.png
[9c075ee12a0949e89cf9707fa0f54846.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/90bedf6b959e49be92a73e6314e7a658.png
[f1c867a80bca44f494e4a76e7054941b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0aa34b93a02e467c94bb6fc9622fb02e.png
[381d9f9b0bd54a6e9624a63821e876b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6ff7ff71faf7445482a0b5c558a8afb8.png
[525394f25ca344c0b48e1e0a73b607ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/02505bbe45114fa6b45e024c0687ef0f.png
[5eeaa10d2f654085895843150f5f0205.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/adb1912b281b46c880b8fbec5a0859b7.png
[1cc6a0d4831347099c4d32c8bb5c239e.png]: https://img-blog.csdnimg.cn/direct/1cc6a0d4831347099c4d32c8bb5c239e.png
[4113129b80a3473c82ac5ef232bb6cda.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d9797426513a475c9557fdbf96dc242d.png
[d2f1cb298e8444148a87aeb0650191a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2aa8e0b4d2d042b4867917f002fcb0f9.png
[24db65960c1446da97005f4d677d2d48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/fa23d3010cf74591acaa69c34cb13208.png
[b70e85cd4f724cef9c44ea1ff05e3c09.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/464597a2382c4c41ae11b83d605bab05.png
[6fd0236e5c5c4ee7a33415c5ca26466b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8f4f8470f99d4667a47c83bd8773fcfd.png
[e69d11d5c4654df3ab8feb19abf97b59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/1c72338f1fe748e2b806257a3f335b5e.png
[c2eede63fbab43a69cfa95edb5fa6d91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8c8a3ba4717f4193b7f7e54566913bd2.png
[526c897a7e264b808b686376042cd4c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/17eae8e026ea4f698ae9d66e65bf59de.png
[f0573067f47c4856ba9c8ad7090a1d2c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d43da651905145e7ace30281ba84bb1b.png
[66361a58b1a7427b8a3cedd8a5ceb8de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/eaf46a124b954eefaf51c29f7b5a15f1.png
[823d0dd9f52042a8a3c123d4b013811a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e82f0262f5374048afb9dc9647434146.png
[e18c2318c8544b5084a72a74f4640e74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d747d96c16164fbdb1eb1ebf64d7f0f5.png
[2d6e8c3ba84047eca34b4f1a08938864.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/1e0c2d1a1230417e8c39a0dc199a0754.png
[9c0d53dce9b74bf586eeb2b1a5ba3d1b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a5a5b5c8d4044b0ab0a7b4e338fbc93c.png
[d0ef791f57324f3c971ae2a0705073f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2ea0d3dfae054f3faaf1502242a8720a.png
[c44509d1ae1149d3b064f588f4f8d1d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0279f0014e434c4382e7748cca402469.png
[c2de6ab59dae4fb7a7bf000a5da95506.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/94f39bc1ce6d486897927ae001606987.png
[2a2b0de457e34d469a0fd2ec9b01a46c.png]: https://img-blog.csdnimg.cn/direct/2a2b0de457e34d469a0fd2ec9b01a46c.png
[8e51dd5b5c7e4704adcabaa71cd5a33c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0a4e3fe419184efcb2ea7db7d07e538b.png
[e851d6084a244911b97a4d94c191b4ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c86b32b35173499aacaaaf646ebb54d5.png
[d2674a3acf814f1ba67149b0720c93b3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/951ccff90b24479fb2f5f10dbf7cec7d.png
[a46dcdbc184f47f3afea924f71335884.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b4d541ae57d243f7b3b28a4bcacd2e57.png
[e7154b623c95426b971560fdf216f1a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c9124c401c584a5b9ab2773dae700b27.png
[8ed30985a981461f8b438636af9ebbb2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/7ab18b7c0f6e4831b4a3c0248d3de007.png
[cc8b0d64bd9f4aaf88a2e63d629839a2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4569b6cf3d744e7d87dbe7fc83050d2c.png
[92de924a030041468799b7aeb9a95261.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/61fdfb2b9f5a4eb6ab2f0c0b694d5b87.png
[9b71b57b0627451a97151672099de462.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/20cc94e8bd22456d8c4a3eef2a80d6d6.png
[ca1cb7768ff24f099f4d1295fb443e75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5a27eedffd49405f8c775eb005a9cd87.png