3000字 “婴儿级” 爬虫图文教学 | 手把手教你用Python爬取 “实习网”！

青旅半醒 2022-10-16 04:57 208阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

潮平两岸阔，风正一帆悬。

## 1. 为"你"而写    ##

这篇文章，是专门为那些 **"刚学习"** Python爬虫的朋友，而专门准备的文章。希望你看过这篇文章后，能够清晰的知道整个 **"爬虫流程"**。从而能够 **"独立自主"** 的去完成，某个简单网站的数据爬取。

![fc12f820d7c76dcb194e94d992284757.png][]

好了，咱们就开始整个 **“爬虫教学”** 之旅吧！

## 2. 页面分析 ##

#### ① 你要爬取的网站是什么？ ####

首先，我们应该清楚你要爬去的网站是什么？

由于这里我们想要爬取的是 **“实习网”** 中的数据，因此我们可以打开这个网站看看（如图所示）。

**网站链接：**https://www.shixi.com/search/index?

![c7dd0a34c6612c2564f56a1852d156cc.png][]

由于我们想要爬取 **“数据分析”** 岗位的数据。因此，直接在输入框输入数据分析即可。

![e149ad462501352c0e59e39b6b15095e.png][]

这里是我们要的最终页面链接。????????**待爬取链接：**

https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90

观察下图，可以清楚看到有哪些数据，下面还有页面信息。**我们需要了解这些：** 一个页面中共有多少条数据。这个很重要，后面可以帮你检查，是否爬取到了每个页面的所有信息。

![908eaa3480804f63750fbb4916168e40.png][]

图中显示的是 **“一级页面”** 中的信息，点击任意一个 “岗位名”，会自动跳转到 **“二级页面”**。以点击 “数据分析实习生” 为例，原来二级页面是这样的。

![32e39957e16d8d3131a510d4dd91619c.png][]

#### ② 你要爬取页面上的哪些信息？ ####

这里我们获取的不仅有一级页面中的信息，还有二级页面中的信息。

在一级页面中（如图所示），我们获取到的有 **“公司名”**、**“岗位名”**、**“公司地址”**、**“学历”**、**“薪资”**。

![b7f4c8a07d3919f59a0f94a26e3771d7.png][]

在二级页面中（如图所示），我们获取到的有 **“岗位需求”**、**“公司类型”**、**“公司规模”**。

![ba96106f4ca702379e4f850224234ac5.png][]

好了，这里一共有8个数据，是我们要获取的数据，这就是我们的 **“爬虫目的”**。

#### ③ 页面是 “静态网页”，还是“动态网页”？ ####

如果你请求某个网页，网页的信息是一次性给你的，那么它就是 **“静态网页”**。

如果你请求某个网页，网页中的信息，随着你鼠标往下滑动，而慢慢展现出来，那么它就是 **“动态网页”**，即 **“Ajax技术”**。

**那么它们的区别就在于：** 静态网页中的数据，是一次性给你。动态网页中的数据，是随着页面一步步加载出来，而逐步呈现的，也就是你用静态网页的爬虫技术，无法获取到里面所有的数据。

这里有一个很好 **“检验”** 是静态网页还是动态网页的方法，我给大家介绍一下 。

点击 **“鼠标右键”**，点击 **“查看网页源代码”**。

![c689e275b1999488d6654e96efe4bc47.png][]

最终效果如下（部分截图）：

![f57f08cd86c8ce4b0cb5b6b3c0a327f5.png][]

这其实就是你请求这个网页，最终返回给你的信息。你要爬取的数据，如果在里面都能找到，大致可以判断是 **“静态网页”**，如果找不到，大致可以考虑是 **“动态网页”**。

**怎么查找呢？**

在上述页面，可以点击 **“ctrl + f”**，调出搜索框（如图所示），你将网页中的数据，粘贴进来，看看能否都能被搜索到。

![f250c71b538651946cc5c7de101cc602.png][]

当然，今天这堂课是小白教程，肯定教你的是一个 **“静态网页”**。但是没关系呀，这些知识你都知道了。

## 3. 如何定位数据 ##

在正式写代码之前，你肯定要知道，你想要用哪种方式，来帮你解析数据。常见的Python爬虫解析数据的方法有：re正则表达式、xpath、beautifulsoup、pyquery等。

本文黄同学采用的将会是xpath解析法。

好了，我们接着就来定位数据吧！

点击 **“鼠标右键”**，再点击 **“审查元素”**。【或者直接按电脑上的**F12**键】

![2764baec21290e0fe30b4e5199d8212d.png][]

此时，会出现如下页面。

![14239117d8506d36f6f8d18a25a9fb32.png][]

这其实是一个 **“桥梁”**，帮助我们建立起 **“网页”** 与 **“源代码”** 之间的关系定位。

**那么，应该怎么使用它呢？**（观察下图三个步骤）

![e543c5c3d377884e8b5099b4daca7017.png][]

首先，单击①处。接着，光标指向你要定位的数据（②）。此时，在③处，他回自动跳转到你想要定位的数据，在源码中的位置。

这个对于我们写代码超极有帮助，也是最基本的操作。

关于怎么解析数据，我就不在详细说明。因为，这也不是今天这篇文章能够讲清楚的。

今天我就是想让你掌握 **“爬虫技术”** 的流程。因此，接下来我会为大家讲述整个代码的爬虫思路。

## 4. 爬虫代码讲解 ##

这里我将会分步为大家讲解整个爬虫流程，这种文章只写这一篇，刚学Python的朋友，一定要看哦！

#### ① 导入相关库 ####

import pandas as pd # 用于数据存储
    import requests # 用于请求网页
    import chardet # 用于修改编码
    import re # 用于提取数据
    from lxml import etree # 解析数据的库
    import time # 可以粗糙模拟人为请求网页的速度
    import warnings # 忽略代码运行时候的警告信息
    warnings.filterwarnings("ignore")

#### ② 请求一级页面的网页源代码 ####

url = 'https://www.shixi.com/search/index?key=数据分析&districts=&education=0&full_opportunity=0&stage=0&practice_days=0&nature=0&trades=&lang=zh_cn'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    rqg = requests.get(url, headers=headers, verify=False) ①
    rqg.encoding = chardet.detect(rqg.content)['encoding'] ②
    html = etree.HTML(rqg.text)

这里我们仅仅讲述①②两处。**在①处**，有两个参数，一个是**headers**一个是**verify**。其中headers是一种反反扒的措施，让浏览器认为爬虫不是爬虫，而是人在用浏览器去正常请求网页。verify是忽略安全证书提示，有的网页会被认为是一个不安全的网页，会提示你，这个参数你记住就行。

**在②处**，我们已经获取到了网页的源码。但是由于网页源代码的编码方式和你所在电脑的解析方式，有可能不一致，返回的结果会导致乱码。此时，你就需要修改编码方式，**chardet库**可以帮你自动检测网页源码的编码（不懂得再下去研究一下这个库）。

#### ③ 解析一级页面网页中的信息 ####

# 1. 公司名
    company_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')
    company_list = [company_list[i].strip() for i in range(len(company_list)) if i % 2 != 0]
    
    # 2. 岗位名
    job_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')
    job_list = [job_list[i].strip() for i in range(len(job_list)) if i % 2 == 0]
    
    # 3. 地址
    address_list = html.xpath('//div[@class="job-pannel-two"]//a/text()')
    
    # 4. 学历
    degree_list = html.xpath('//div[@class="job-pannel-list"]//dd[@class="job-des"]/span/text()')
    
    # 5. 薪资
    salary_list = html.xpath('//div[@class="job-pannel-two"]//div[@class="company-info-des"]/text()')
    salary_list = [i.strip() for i in salary_list]
    
    # 获取二级页面的链接
    deep_url_list = html.xpath('//div[@class="job-pannel-list"]//dt/a/@href')
    x = "https://www.shixi.com"
    deep_url_list = [x + i for i in deep_url_list]

此时，你可以看到，我直接采用xpath一个个去解析一级页面中的数据分析。在代码末尾，可以看到：我们获取到了二级页面的链接，为我们后面爬取二级页面中的信息，做准备。

#### ④ 解析二级页面网页中的信息 ####

demand_list = []
    area_list = []
    scale_list = []
    
    for deep_url in deep_url_list:
        rqg = requests.get(deep_url, headers=headers, verify=False) ①
        rqg.encoding = chardet.detect(rqg.content)['encoding'] ②
        html = etree.HTML(rqg.text) ③
        
        # 6. 需要几人
        demand = html.xpath('//div[@class="container-fluid"]//div[@class="intros"]/span[2]/text()')
        
        # 7. 公司领域
        area = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[1]/span/text()')
    
        # 8. 公司规模
        scale = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[2]/span/text()')
        
        demand_list.append(demand)
        area_list.append(area)
        scale_list.append(scale)

**记住：**二级页面也是页面呀，你要想获取到其中的消息，就必须再次请求该网页。因此，你可以看到①②③处的代码，和上面写的代码，就是一模一样的。

#### ⑤ 翻页操作 ####

https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=1
    https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=2
    https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=3

随意复制几个不同页面的url，观察它们的区别。这里可以看到，也就page参数后面的数字不同，是第几页，数字就是几。

x = "https://www.shixi.com/search/index?key=数据分析&page="
    url_list = [x + str(i) for i in range(1,61)]

由于我们爬取了60页 的数据，这里就构造出了60个url，他们都存在url\_list这个列表中。

我们现在来看看整个代码吧，我就不再文字叙述了，直接在代码中写好了注释。

import pandas as pd
    import requests
    import chardet
    import re
    from lxml import etree
    import time
    import warnings
    warnings.filterwarnings("ignore")
    
    def get_CI(url):
     # ① 请求获取一级页面的源代码 
        url = 'https://www.shixi.com/search/index?key=数据分析&districts=&education=0&full_opportunity=0&stage=0&practice_days=0&nature=0&trades=&lang=zh_cn'
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
        rqg = requests.get(url, headers=headers, verify=False)
        rqg.encoding = chardet.detect(rqg.content)['encoding']
        html = etree.HTML(rqg.text)
        
        # ② 获取一级页面中的信息：一共有ⅠⅡⅢⅣⅤⅥ个信息。
        # Ⅰ 公司名
        company_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')
        company_list = [company_list[i].strip() for i in range(len(company_list)) if i % 2 != 0]
    
        # Ⅱ 岗位名
        job_list = html.xpath('//div[@class="job-pannel-list"]//div[@class="job-pannel-one"]//a/text()')
        job_list = [job_list[i].strip() for i in range(len(job_list)) if i % 2 == 0]
        
        # Ⅲ 地址
        address_list = html.xpath('//div[@class="job-pannel-two"]//a/text()')
        
        # Ⅳ 学历
        degree_list = html.xpath('//div[@class="job-pannel-list"]//dd[@class="job-des"]/span/text()')
        
        
        # Ⅴ 薪资
        salary_list = html.xpath('//div[@class="job-pannel-two"]//div[@class="company-info-des"]/text()')
        salary_list = [i.strip() for i in salary_list]
    
        # Ⅵ 获取二级页面的url
        deep_url_list = html.xpath('//div[@class="job-pannel-list"]//dt/a/@href')
        x = "https://www.shixi.com"
        deep_url_list = [x + i for i in deep_url_list]
        
        demand_list = []
        area_list = []
        scale_list = []
    
        # ③ 获取二级页面中的信息：一共有ⅠⅡⅢ三个信息。
        for deep_url in deep_url_list:
            rqg = requests.get(deep_url, headers=headers, verify=False)
            rqg.encoding = chardet.detect(rqg.content)['encoding']
            html = etree.HTML(rqg.text)
            
            # Ⅰ 需要几人
            demand = html.xpath('//div[@class="container-fluid"]//div[@class="intros"]/span[2]/text()')
            
            # Ⅱ 公司领域
            area = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[1]/span/text()')
    
            # Ⅲ 公司规模
            scale = html.xpath('//div[@class="container-fluid"]//div[@class="detail-intro-title"]//p[2]/span/text()')
            
            demand_list.append(demand)
            area_list.append(area)
            scale_list.append(scale)
         
        # ④ 将每个页面获取到的所有数据，存储到DataFrame中。
        data = pd.DataFrame({'公司名':company_list,'岗位名':job_list,'地址':address_list,"学历":degree_list,
                             '薪资':salary_list,'岗位需求量':demand_list,'公司领域':area_list,'公司规模':scale_list})
        return(data)
    
    x = "https://www.shixi.com/search/index?key=数据分析&page="
    url_list = [x + str(i) for i in range(1,61)] 
    
    res = pd.DataFrame(columns=['公司名','岗位名','地址',"学历",'薪资','岗位需求量','公司领域','公司规模'])
    
    # ⑤ 这里进行“翻页”操作
    for url in url_list:
        res0 = get_CI(url)
        res = pd.concat([res,res0])
        time.sleep(3)
    
    # ⑥ 保存最终数据
    res.to_csv('aliang.csv',encoding='utf_8_sig')

最终爬取到的数据如下：

![8f9ea134fe63e01f391636377222c079.png][]

好了，本文就讲述到这里。其实对于一个爬虫小白来说内容已经够多了，好好下去消化。

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  ## [一篇文章带你了解Python高阶函数][Python] ##
 *  ## [Python实例方法、类方法和类方法静态方法浅析][Python 1] ##
 *  ## [盘点Python基础之字符串的那些事儿][Python 2]    ##

![b5f10e0a003645464b81807552b0ca0e.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~

[fc12f820d7c76dcb194e94d992284757.png]: /images/20221014/590e0754421e4db6812f914789819349.png
[c7dd0a34c6612c2564f56a1852d156cc.png]: /images/20221014/0dd7d32b09834aa6bb1a945108606010.png
[e149ad462501352c0e59e39b6b15095e.png]: /images/20221014/d560d8e752444401adf648c666187587.png
[908eaa3480804f63750fbb4916168e40.png]: /images/20221014/97bc7f7a12854d619977e8b625b5a194.png
[32e39957e16d8d3131a510d4dd91619c.png]: /images/20221014/be2a732dc8894d66a291cb668cbde30b.png
[b7f4c8a07d3919f59a0f94a26e3771d7.png]: /images/20221014/e4f9e2519f4041ad96d8f93be06fb5f8.png
[ba96106f4ca702379e4f850224234ac5.png]: /images/20221014/8425bff366a440e7a1512dd28262bba7.png
[c689e275b1999488d6654e96efe4bc47.png]: /images/20221014/847b0a83abef4c03ad56bb676c0f19a7.png
[f57f08cd86c8ce4b0cb5b6b3c0a327f5.png]: /images/20221014/69358e591aa74014a3980b81d833d388.png
[f250c71b538651946cc5c7de101cc602.png]: /images/20221014/193e36d7504041809fa076d5f1478756.png
[2764baec21290e0fe30b4e5199d8212d.png]: /images/20221014/13097f6f10f441189c334e3a6e7403f3.png
[14239117d8506d36f6f8d18a25a9fb32.png]: /images/20221014/a845b5828b4d4bc28789b4d5e9b02d77.png
[e543c5c3d377884e8b5099b4daca7017.png]: /images/20221014/b648d3b6d0f0472ba93945953a939822.png
[8f9ea134fe63e01f391636377222c079.png]: /images/20221014/b6aa39bc0d624cf1938a5fe6b1b5fc24.png
[Python]: http://mp.weixin.qq.com/s?__biz=MzA5MjkxNDU2Ng%3D%3D&chksm=90649262a7131b7481f9facd930a2fce117bae24f0e37197dc07af264abc92ce9732d3317760&idx=1&mid=2247484555&scene=21&sn=b1cab303d8ce48e28ef6027e89541b6a#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MzA5MjkxNDU2Ng%3D%3D&chksm=90649263a7131b75450d4e61a163488574f303784898175df42c2d7e9ae1f8e852f164c4e70f&idx=1&mid=2247484554&scene=21&sn=52c161756b2b3c9c98eed0f2929614c9#wechat_redirect
[Python 2]: http://mp.weixin.qq.com/s?__biz=MzA5MjkxNDU2Ng%3D%3D&chksm=9064926ba7131b7d09efcc0126da51a02ace3bc0f4472f5aeb0a3361a2fe04f4d3574b02760d&idx=1&mid=2247484546&scene=21&sn=be110acbeef17c15bbbb397e14d7758e#wechat_redirect
[b5f10e0a003645464b81807552b0ca0e.png]: /images/20221014/c3cdea354dfa4880b3f809ac6ea22ad5.png