就业寒冬，从拉勾招聘看Python就业前景

àì夳堔傛蜴生んèń 2022-04-25 06:16 229阅读 0赞

![09b626c0af36ee09021baf59443ec6f1.gif][]

数据采集

事情的起源是这样的，某个风和日丽的下午… 习惯性的打开知乎准备划下水，看到一个问题刚好邀请回答

![eec5cdcec8fa8bddde103b540b5cec78.png][]

于是就萌生了采集下某招聘网站Python岗位招聘的信息，看一下目前的薪水和岗位分布，说干就干。

先说下数据采集过程中遇到的问题，首先请求头是一定要伪装的，否则第一步就会给你弹出**你的请求太频繁，请稍后再试**，其次网站具有多重反爬策略，解决方案是每次先获取session然后更新我们的session进行抓取，最后拿到了想要的数据。

Chrome浏览器右键检查查看**network**，找到链接`https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false`

![87cca5b4ad92c3f24993f1e2b56938db.png][]  
可以看到返回的数据正是页面的Python招聘详情，于是我直接打开发现直接提示 `{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"124.77.161.207","state":2402}`，机智的我察觉到事情并没有那么简单

![41d8ad6124aacfed4a307941fe9b9b5e.png][]

真正的较量才刚刚开始，我们先来分析下请求的报文，

![2e0a2eccdd542ab0f9c347910ebc6420.png][]  
![e26e671a46a209257df543b4216dd491.png][]

可以看到请求是以`post`的方式传递的，同时传递了参数

datas = {
        
                'first': 'false',
                'pn': x,
                'kd': 'python',
            }

同时不难发现每次点击下一页都会同时发送一条`get`请求

![1a281bc7622dae97b6ee495dba0c8057.png][] 这里我点了两次，出现两条get请求  
![a37bbe473d81c4748686e5fe4912ccd8.png][]  
经过探索，发现这个 `get` 请求和我们 `post` 请求是一致的，那么问题就简单许多，整理一下思路

![1907c75343a5dca0061dec0d5b4149aa.png][]

**关键词：**`python`  
**搜索范围：**全国  
**数据时效：**2019.05.05

#!/usr/bin/env python3.4
    # encoding: utf-8
    """
    Created on 19-5-05
    @title: ''
    @author: Xusl
    """
    import json
    import requests
    import xlwt
    import time
    
    
    # 获取存储职位信息的json对象，遍历获得公司名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限
    def get_json(url, datas):
        my_headers = {
        
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
            "Referer": "https://www.lagou.com/jobs/list_Python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=",
            "Content-Type": "application/x-www-form-urlencoded;charset = UTF-8"
        }
        time.sleep(5)
        ses = requests.session()    # 获取session
        ses.headers.update(my_headers)  # 更新
        ses.get("https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=")
        content = ses.post(url=url, data=datas)
        result = content.json()
        info = result['content']['positionResult']['result']
        info_list = []
        for job in info:
            information = []
            information.append(job['positionId'])  # 岗位对应ID
            information.append(job['city'])  # 岗位对应城市
            information.append(job['companyFullName'])  # 公司全名
            information.append(job['companyLabelList'])  # 福利待遇
            information.append(job['district'])  # 工作地点
            information.append(job['education'])  # 学历要求
            information.append(job['firstType'])  # 工作类型
            information.append(job['formatCreateTime'])  # 发布时间
            information.append(job['positionName'])  # 职位名称
            information.append(job['salary'])  # 薪资
            information.append(job['workYear'])  # 工作年限
            info_list.append(information)
            # 将列表对象进行json格式的编码转换,其中indent参数设置缩进值为2
            # print(json.dumps(info_list, ensure_ascii=False, indent=2))
        # print(info_list)
        return info_list
    
    
    def main():
        page = int(input('请输入你要抓取的页码总数：'))
        # kd = input('请输入你要抓取的职位关键字：')
        # city = input('请输入你要抓取的城市：')
    
        info_result = []
        title = ['岗位id', '城市', '公司全名', '福利待遇', '工作地点', '学历要求', '工作类型', '发布时间', '职位名称', '薪资', '工作年限']
        info_result.append(title)
        for x in range(1, page+1):
            url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
            datas = {
        
                'first': 'false',
                'pn': x,
                'kd': 'python',
            }
            try:
                info = get_json(url, datas)
                info_result = info_result + info
                print("第%s页正常采集" % x)
            except Exception as msg:
                print("第%s页出现问题" % x)
            
            # 创建workbook,即excel
            workbook = xlwt.Workbook(encoding='utf-8')
            # 创建表,第二参数用于确认同一个cell单元是否可以重设值
            worksheet = workbook.add_sheet('lagouzp', cell_overwrite_ok=True)
            for i, row in enumerate(info_result):
                # print(row)
                for j, col in enumerate(row):
                    # print(col)
                    worksheet.write(i, j, col)
            workbook.save('lagouzp.xls')
    
    
    if __name__ == '__main__':
        main()

![日志记录][43ddac34df966654b58cad52d20ec246.png] 日志记录  
![5deea751a5bd10d667169bf7fb35db8d.png][]

当然存储于excel当然是不够的，之前一直用`matplotlib`做数据可视化，这次换个新东西`pyecharts`。

![1f7089c8b9624076f8364d5affbe845e.gif][]

了解pyecharts

pyecharts是一款将python与echarts结合的强大的数据可视化工具，包含多种图表

*  Bar（柱状图/条形图）
 *  Bar3D（3D 柱状图）
 *  Boxplot（箱形图）
 *  EffectScatter（带有涟漪特效动画的散点图）
 *  Funnel（漏斗图）
 *  Gauge（仪表盘）
 *  Geo（地理坐标系）
 *  Graph（关系图）
 *  HeatMap（热力图）
 *  Kline（K线图）
 *  Line（折线/面积图）
 *  Line3D（3D 折线图）
 *  Liquid（水球图）
 *  Map（地图）
 *  Parallel（平行坐标系）
 *  Pie（饼图）
 *  Polar（极坐标系）
 *  Radar（雷达图）
 *  Sankey（桑基图）
 *  Scatter（散点图）
 *  Scatter3D（3D 散点图）
 *  ThemeRiver（主题河流图）
 *  WordCloud（词云图）

**用户自定义**

*  Grid 类：并行显示多张图
 *  Overlap 类：结合不同类型图表叠加画在同张图上
 *  Page 类：同一网页按顺序展示多图
 *  Timeline 类：提供时间线轮播多张图

**另外需要注意的是从版本0.3.2 开始，为了缩减项目本身的体积以及维持 pyecharts 项目的轻量化运行，pyecharts 将不再自带地图 js 文件。如用户需要用到地图图表（Geo、Map），可自行安装对应的地图文件包。**

> 1.  全球国家地图: echarts-countries-pypkg (1.9MB): 世界地图和 213 个国家，包括中国地图
> 2.  中国省级地图: echarts-china-provinces-pypkg (730KB)：23 个省，5 个自治区
> 3.  中国市级地图: echarts-china-cities-pypkg (3.8MB)：370 个中国城市

**也可以使用命令进行安装**

pip install echarts-countries-pypkg
    pip install echarts-china-provinces-pypkg
    pip install echarts-china-cities-pypkg

![afaeefd764a28e15a7a1d4084c785b5b.gif][]

数据可视化（代码+展示）

*  **各城市招聘数量**

from pyecharts import Bar
    
    city_nms_top10 = ['北京', '上海', '深圳', '成都', '杭州', '广州', '武汉', '南京', '苏州', '郑州', '天津', '西安', '东莞', '珠海', '合肥', '厦门', '宁波',
                      '南宁', '重庆', '佛山', '大连', '哈尔滨', '长沙', '福州', '中山']
    city_nums_top10 = [149, 95, 77, 22, 17, 17, 16, 13, 7, 5, 4, 4, 3, 2, 2, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1]
    
    bar = Bar("Python岗位", "各城市数量")
    bar.add("数量", city_nms, city_nums, is_more_utils=True)
    # bar.print_echarts_options() # 该行只为了打印配置项，方便调试时使用
    bar.render('Python岗位各城市数量.html')  # 生成本地 HTML 文件

![0ea477346e8d313e3303f391f30e84f1.png][]

*  **地图分布展示（这个场景意义不大，不过多分析）**

from pyecharts import Geo
    
    city_datas = [('北京', 149), ('上海', 95), ('深圳', 77), ('成都', 22), ('杭州', 17), ('广州', 17), ('武汉', 16), ('南京', 13), ('苏州', 7),
         ('郑州', 5), ('天津', 4), ('西安', 4), ('东莞', 3), ('珠海', 2), ('合肥', 2), ('厦门', 2), ('宁波', 1), ('南宁', 1), ('重庆', 1),
         ('佛山', 1), ('大连', 1), ('哈尔滨', 1), ('长沙', 1), ('福州', 1), ('中山', 1)]
    geo = Geo("Python岗位城市分布地图", "数据来源拉勾", title_color="#fff",
                      title_pos="center", width=1200,
                      height=600, background_color='#404a59')
    attr, value = geo.cast(city_datas)
    geo.add("", attr, value, visual_range=[0, 200], visual_text_color="#fff",
                    symbol_size=15, is_visualmap=True)
    geo.render("Python岗位城市分布地图_scatter.html")
    
    
    geo = Geo("Python岗位城市分布地图", "数据来源拉勾", title_color="#fff",
                      title_pos="center", width=1200,
                      height=600, background_color='#404a59')
            attr, value = geo.cast(city_datas)
            geo.add("", attr, value, type="heatmap", visual_range=[0, 10], visual_text_color="#fff",
                    symbol_size=15, is_visualmap=True)
            geo.render("Python岗位城市分布地图_heatmap.html")

![53ff50d131602df8bcadb537980b4981.png][]  
![c3f75b283cd32fad295bb0938d8a5e3c.png][]

*  **各个城市招聘情况**

from pyecharts import Pie
    
    city_nms_top10 = ['北京', '上海', '深圳', '成都', '广州', '杭州', '武汉', '南京', '苏州', '郑州']
    city_nums_top10 = [149, 95, 77, 22, 17, 17, 16, 13, 7, 5]
    pie = Pie()
    pie.add("", city_nms_top10, city_nums_top10, is_label_show=True)
    # pie.show_config()
    pie.render('Python岗位各城市分布饼图.html')

![c5f8932490ef5b852db0c09d36f11793.png][]  
  
北上深的岗位明显碾压其它城市，这也反映出为什么越来越多的it从业人员毕业以后相继奔赴一线城市，除了一线城市的薪资高于二三线这个因素外，还有一个最重要的原因 **供需关系**，因为一线岗位多，可选择性也就比较高，反观二三线的局面，很有可能你跳个几次槽，发现同行业能呆的公司都待过了…

*  **薪资范围**

![e447e637505e49659df22a9618b4d381.png][]

由此可见，python的岗位薪资多数在10k~20k，想从事Python行业的可以把工作年限和薪资结合起来参考一下。

*  **学历要求 + 工作年限**

![52fab5f1e2cd1415517ef928562d70a2.png][]

从工作年限来看，1-3年或者3-5年工作经验的招聘比较多，而应届生和一年以下的寥寥无几，对实习生实在不太友好，学历也普遍要求本科，多数公司都很重视入职人员学历这点毋容置疑，虽然学历不代表一切，但是对于一个企业来说，想要短时间内判断一个人的能力，最快速有效的方法无疑是从学历入手。学历第一关，面试第二关。

但是，这不代表学历不高的人就没有好的出路，现在的大学生越来越多，找工作也越来越难，竞争越来越激烈，即使具备高学历，也不能保证你一定可以找到满意的工作，天道酬勤，**特别是it这个行业，知识的迭代，比其他行业来的更频密。不断学习，拓展自己学习的广度和深度，才是最正确的决定。**

**就业寒冬来临，我们需要的是理性客观的看待，而不是盲目地悲观或乐观。从以上数据分析，如果爱好Python，仍旧可以入坑，不过要注意一个标签有工作经验，就算没有工作经验，自己在学习Python的过程中一定要尝试独立去做一个完整的项目，爬虫也好，数据分析也好，亦或者是开发，都要尝试独立去做一套系统，在这个过程中培养自己思考和解决问题的能力。持续不断的学习，才是对自己未来最好的投资，也是度过寒冬最正确的姿势。**

原文链接：https://mp.weixin.qq.com/s/dxLy8Vpd2mYGcj5mWXbEvQ

> 查阅更为简洁方便的分类文章以及最新的课程、产品信息，请移步至全新呈现的“LeadAI学院官网”：
> 
> www.leadai.org

请关注人工智能LeadAI公众号，查看更多专业文章

![a95c2952ca18de6780a4571a82dcf66d.png][]

大家都在看

![05ad47e944674a3de72bff3b8152faa8.png][]

[LSTM模型在问答系统中的应用][LSTM]

[基于TensorFlow的神经网络解决用户流失概览问题][TensorFlow]

[最全常见算法工程师面试题目整理（一）][Link 1]

[最全常见算法工程师面试题目整理（二）][Link 2]

[TensorFlow从1到2 | 第三章 深度学习革命的开端：卷积神经网络][TensorFlow_1_2 _ _]

[装饰器 | Python高级编程][_ Python]

[今天不如来复习下Python基础][Python]

[09b626c0af36ee09021baf59443ec6f1.gif]: /images/20220205/a9f87ce9bf9a41dfa5602b2b7f255d9b.png
[eec5cdcec8fa8bddde103b540b5cec78.png]: /images/20220205/debdde300c8440ff97d654a523894425.png
[87cca5b4ad92c3f24993f1e2b56938db.png]: /images/20220205/eb73ed7b54db460784ece89d22c54e0e.png
[41d8ad6124aacfed4a307941fe9b9b5e.png]: /images/20220205/95f7385436dc4ab5846c186fb058cf48.png
[2e0a2eccdd542ab0f9c347910ebc6420.png]: /images/20220205/2af5f72397764774be2bd5e16ca6019d.png
[e26e671a46a209257df543b4216dd491.png]: /images/20220205/2121a1f6dad64c60a0f78d1340e2e5df.png
[1a281bc7622dae97b6ee495dba0c8057.png]: /images/20220205/dbc30376207e462f92497b4add7e235a.png
[a37bbe473d81c4748686e5fe4912ccd8.png]: /images/20220205/53209c2b03964586bb54ce730251d5d5.png
[1907c75343a5dca0061dec0d5b4149aa.png]: /images/20220205/7b3d4fc820724b599873524cc6bd0ad1.png
[43ddac34df966654b58cad52d20ec246.png]: /images/20220205/db261de9949f48ea94bd96c3f4a6e2cc.png
[5deea751a5bd10d667169bf7fb35db8d.png]: /images/20220205/f49e7ad5a45649d7bbefbd8ce6d27277.png
[1f7089c8b9624076f8364d5affbe845e.gif]: /images/20220205/cbaad6924fb047c4b1b0459ed6f82e42.png
[afaeefd764a28e15a7a1d4084c785b5b.gif]: /images/20220205/6b75f508934e4f909f09a64b6cf79699.png
[0ea477346e8d313e3303f391f30e84f1.png]: /images/20220205/820bcb05a3f84ffab4b90d083d5a8b91.png
[53ff50d131602df8bcadb537980b4981.png]: /images/20220205/47d4c444e5da46e68b0e86e7efd9bd17.png
[c3f75b283cd32fad295bb0938d8a5e3c.png]: /images/20220205/513e5101aa4e4af88592c1298876e6a6.png
[c5f8932490ef5b852db0c09d36f11793.png]: /images/20220205/81ae715bfaa240c79494caac4f4d64f8.png
[e447e637505e49659df22a9618b4d381.png]: /images/20220205/ff7c57a65f3b44edb2415e75d38382cb.png
[52fab5f1e2cd1415517ef928562d70a2.png]: /images/20220205/eb4c7c7bc10f4dc0b132565b8a19c000.png
[a95c2952ca18de6780a4571a82dcf66d.png]: /images/20220205/52940c3c3ae14c208b25765cd4c2f0da.png
[05ad47e944674a3de72bff3b8152faa8.png]: /images/20220205/0fe388f37d43479481719488630c4870.png
[LSTM]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbad7fddac246979cf49802a01c3136b1b0f79e6bfb3e9ace2172cfff4ed63be89f23b0f64&idx=3&mid=2247484578&scene=21&sn=38654576f40c7c086fbe32d2b12c9862#wechat_redirect
[TensorFlow]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbad47ddac2451057b1c6975191f1044988fe9612e1fc248852fe2490052dd791c42770d96&idx=4&mid=2247484570&scene=21&sn=d22e41ff43460c040aae136b78f5c807#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbadafddac24b91389d1bcea23be2668a0efbd425150e836d1ee5ba6d182b0a2f3cf6000dc&idx=1&mid=2247484530&scene=21&sn=462931eb9fd0dd1ac41f2e3f987fa51c#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbad5addac244c9a9516376add6168ff1a415ba26994ede28c1613dfcc54222959c56a365f&idx=3&mid=2247484551&scene=21&sn=a481218ee3f5f4d766a48dca5f8c4c61#wechat_redirect
[TensorFlow_1_2 _ _]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbadb9ddac24af5943085537922db2f982f088f34ce20262eea314dbf5741dcefbc4a74404&idx=1&mid=2247484516&scene=21&sn=40e8928353dbc29f17c8e22cd27944f4#wechat_redirect
[_ Python]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbade1ddac24f70b22b22cb81a070fdab2e4dafc02c596eb3aa5acba83a9d1051e122258e2&idx=1&mid=2247484476&scene=21&sn=503166979eeff5c974de3e3ce0d4b12e#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg%3D%3D&chksm=eadbadf9ddac24ef6e87ee35cc017d42a9ade6e47522b8a041a4b01227161bb17ce6102eafe0&idx=1&mid=2247484452&scene=21&sn=c1cf5f55330a5ef89f0bce7faeda4c98#wechat_redirect