爬虫实战：链接爬虫实战

妖狐艹你老母 2023-01-07 10:21 261阅读 0赞

假设我们想要把一个网页中所有的链接地址提取出来，我们可以通过python爬虫实现。  
思路

1.  确定好要爬取的入口链接
2.  根据需求构建好链接提取的正则表达式
3.  模拟成浏览器并爬取对应网页
4.  根据步骤2的正则表达式提取出该网页中的链接
5.  过滤掉重复链接
6.  后续操作，如打印出链接。

第一步：入口链接  
个人博客  
![20210117134111986.png_pic_center][]

网址

https://blog.csdn.net/KOBEYU652453?spm=1001.2101.3001.5343

第二步：定义正则表达式  
![20210117134423405.png_pic_center][]

链接示例

href="https://blog.csdn.net/kobeyu652453/article/details/106355922

正则用法教程链接  
[python :re模块基本用法][python _re]

于是我们可以定义正则规则

pat='(https?://[^\s)";]+\.(\w|/)*)' #^\匹配任何非空白字符 \w任何数字字母 * 0个或多个

因为有的网址是http，非https，如何在s后面加？号。

全文代码

import re
    import urllib.request
    from urllib import request
    def getlink(url):
        headers = ("User-Agent",
                   "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36")
        opener = urllib.request.build_opener()
        opener.addheaders = [headers]
        # 将opener安装为全局
        urllib.request.install_opener(opener)
    
        url_request = request.Request(url)
        html1 = request.urlopen(url_request, timeout=10)
        data=str(html1.read())
        #根据需要定义正则表达式
        pat = '(https?://[^\s)";]+\.(\w|/)*)'  # ^\匹配任何非空白字符 \w任何数字字母 * 0个或多个
        link=re.compile(pat).findall(data)
        #去除重复元素
        link=set(link)
        return link
    
    url='https://blog.csdn.net/KOBEYU652453?spm=1001.2101.3001.5343'
    linklist=getlink(url)
    for link in linklist:
        print(link[0])

![20210117140417922.png_pic_center][]

![在这里插入图片描述][20210117140453267.jpg_pic_center]  
作者：电气-余登武

[20210117134111986.png_pic_center]: /images/20221119/b5961f1e9314435ea870d21917584d6d.png
[20210117134423405.png_pic_center]: /images/20221119/d8ecee317fb54519b731b0a60bcf1367.png
[python _re]: https://blog.csdn.net/kobeyu652453/article/details/106422107
[20210117140417922.png_pic_center]: /images/20221119/698c53e6af9442b9adf7fd1e5e395bca.png
[20210117140453267.jpg_pic_center]: /images/20221119/23bb62eda9da4a548dd51b8ce33aea61.png