Python拉勾网数据采集与可视化

分手后的思念是犯贱 2021-09-15 09:34 348阅读 0赞

## 简介 ##

本文是先采集拉勾网上面的数据，采集的是Python岗位的数据，然后用Python进行可视化。主要涉及的是爬虫&数据可视化的知识。

爬虫部分

先用Python来抓取拉勾网上面的数据，采用的是简单好用的requests模块。主要注意的地方是，拉勾网属于动态网页，所以会用到浏览器的F12开发者工具进行抓包。抓包以后会发现，其实网页是一个POST的形式，所以要提交数据，提交的数据如下图：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1][]

真实网址是：

https://www.lagou.com/jobs/positionAjax.jsonneedAddtionalResult=false&isSchoolJob=0

在上图也可以轻松发现：kd是查询关键词，pn是页数，可以实现翻页。

代码实现

1.  `import requests # 网络请求`
2.  `import re`
3.  `import time`
4.  `import random`
5.  ``
    
      
    
6.  `# post的网址`
7.  `url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0'`
8.  ``
    
      
    
9.  `# 反爬措施`
10. `header = { 'Host': 'www.lagou.com',`
11. `'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',`
12. `'Accept': 'application/json, text/javascript, */*; q=0.01',`
13. `'Accept-Language': 'zh-CN,en-US;q=0.7,en;q=0.3',`
14. `'Accept-Encoding': 'gzip, deflate, br',`
15. `'Referer': 'https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=',`
16. `'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',`
17. `'X-Requested-With': 'XMLHttpRequest',`
18. `'X-Anit-Forge-Token': 'None',`
19. `'X-Anit-Forge-Code': '0',`
20. `'Content-Length': '26',`
21. `'Cookie': 'user_trace_token=20171103191801-9206e24f-9ca2-40ab-95a3-23947c0b972a; _ga=GA1.2.545192972.1509707889; LGUID=20171103191805-a9838dac-c088-11e7-9704-5254005c3644; JSESSIONID=ABAAABAACDBABJB2EE720304E451B2CEFA1723CE83F19CC; _gat=1; LGSID=20171228225143-9edb51dd-ebde-11e7-b670-525400f775ce; PRE_UTM=; PRE_HOST=www.baidu.com; PRE_SITE=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DKkJPgBHAnny1nUKaLpx2oDfUXv9ItIF3kBAWM2-fDNu%26ck%3D3065.1.126.376.140.374.139.129%26shh%3Dwww.baidu.com%26sht%3Dmonline_3_dg%26wd%3D%26eqid%3Db0ec59d100013c7f000000055a4504f6; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGRID=20171228225224-b6cc7abd-ebde-11e7-9f67-5254005c3644; index_location_city=%E5%85%A8%E5%9B%BD; TG-TRACK-CODE=index_search; SEARCH_ID=3ec21cea985a4a5fa2ab279d868560c8',`
22. `'Connection': 'keep-alive',`
23. `'Pragma': 'no-cache',`
24. `'Cache-Control': 'no-cache'}`
25. ``
    
      
    
26. `for n in range(30):`
27. ``
    
      
    
28. `   # 要提交的数据`
29. `   form = { 'first':'false',`
30. `           'kd':'Python',`
31. `           'pn':str(n)}`
32. ``
    
      
    
33. `   time.sleep(random.randint(2,5))`
34. ``
    
      
    
35. `   # 提交数据`
36. `   html = requests.post(url,data=form,headers = header)`
37. ``
    
      
    
38. `   # 提取数据`
39. `   data = re.findall('{"companyId":.*?,"positionName":"(.*?)","workYear":"(.*?)","education":"(.*?)","jobNature":"(.*?)","financeStage":"(.*?)","companyLogo":".*?","industryField":".*?","city":"(.*?)","salary":"(.*?)","positionId":.*?,"positionAdvantage":"(.*?)","companyShortName":"(.*?)","district"',html.text)`
40. ``
    
      
    
41. `   # 转换成数据框`
42. ``
    
      
    
43. `   data = pd.DataFrame(data)`
44. ``
    
      
    
45. `   # 保存在本地`
46. `   data.to_csv(r'D:Windows 7 DocumentsDesktopMyLaGouDataMatlab.csv',header = False, index = False, mode = 'a+')`

1.  ``

注意：抓取数据的时候不要爬取太快，除非你有其他的反爬措施，比如更换IP等，另外不需登录，我在代码加入了time模块，用于限制爬取速度。

数据可视化

下载下来的数据长成这个样子：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1][]

注意标题（也就是列明）是我自己添加的。

导入模块并配置绘图风格

1.  `import pandas as pd # 数据框操作`
2.  `import numpy as np`
3.  `import matplotlib.pyplot as plt # 绘图`
4.  `import jieba # 分词`
5.  `from wordcloud import WordCloud # 词云可视化`
6.  `import matplotlib as mpl  # 配置字体`
7.  `from pyecharts import Geo # 地理图`
8.  ``
    
      
    
9.  `mpl.rcParams["font.sans-serif"] = ["Microsoft YaHei"]`
10. `# 配置绘图风格`
11. `plt.rcParams["axes.labelsize"] = 16.  `
12. `plt.rcParams["xtick.labelsize"] = 14.`
13. `plt.rcParams["ytick.labelsize"] = 14.`
14. `plt.rcParams["legend.fontsize"] = 12.`
15. `plt.rcParams["figure.figsize"] = [15., 15.]`

注意：导入模块的时候其他都容易解决，除了wordcloud这个模块，这个模块我建议大家手动安装，如果pip安装的话，会提示你缺少C++14.0之类的错误，导致安装不上。手动下载whl文件就可以顺利安装了。

数据预览

1.  `# 导入数据`
2.  `data = pd.read_csv('D:Windows 7 DocumentsDesktopMyLaGouDataPython.csv',encoding='gbk')  # 导入数据`
3.  `data.head()`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2][]

read\_csv路径不要带有中文

1.  `data.tail()`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3][]

学历要求

1.  `data['学历要求'].value_counts().plot(kind='barh',rot=0)`
2.  `plt.show()`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4][]

工作经验

1.  `data['工作经验'].value_counts().plot(kind='bar',rot=0,color='b')`
2.  `plt.show()`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 5][]

Python热门岗位

1.  `final = ''  `
2.  `stopwords = ['PYTHON','python','Python','工程师','（','）','/'] # 停止词`
3.  `for n in range(data.shape[0]):`
4.  ``
    
      
    
5.  `   seg_list = list(jieba.cut(data['岗位职称'][n]))`
6.  ``
    
      
    
7.  `   for seg in seg_list:  `
8.  `       if seg not in stopwords:  `
9.  `               final = final + seg + ' '`
10. `# final 得到的词汇`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 6][]

工作地点

1.  `data['工作地点'].value_counts().plot(kind='pie',autopct='%1.2f%%',explode = np.linspace(0,1.5,25))`
2.  ``
    
      
    
3.  `plt.show()`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 7][]

工作地理图

1.  `# 提取数据框`
2.  `data2 = list(map(lambda x:(data['工作地点'][x],eval(re.split('k|K',data['工资'][x])[0])*1000),range(len(data))))`
3.  `# 提取价格信息`
4.  `data3 = pd.DataFrame(data2)`
5.  `# 转化成Geo需要的格式`
6.  `data4 = list(map(lambda x:(data3.groupby(0).mean()[1].index[x],data3.groupby(0).mean()[1].values[x]),range(len(data3.groupby(0)))))`
7.  `# 地理位置展示`
8.  `geo = Geo("全国Python工资布局", "制作人:挖掘机小王子", title_color="#fff", title_pos="left", width=1200, height=600,`
9.  `background_color='#404a59')`
10. `attr, value = geo.cast(data4)`
11. `geo.add("", attr, value, type="heatmap", is_visualmap=True, visual_range=[0, 300], visual_text_color='#fff')`
12. `# 中国地图Python工资，此分布是最低薪资`
13. `geo`

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 8][]

正在学习Python爬虫的朋友不妨尝试下！

![20180507204011793][]

关注微信公众号，更多精彩资讯等你来看，还有红包福利哦！

[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1]: /images/20210724/052c48ae0f1046279a5d3e35cdde5a46.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20210724/5403dbeade3a4a5baf9d9312e5de08d4.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2]: /images/20210724/5c732bd8b2a545bb80fc0aa1bf98b030.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3]: /images/20210724/131061fc4b49427ca71f4182daa381d7.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4]: /images/20210724/d863469cea524fc4aa418a974fa2c43a.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 5]: /images/20210724/6558d31944744a979429386a9864568d.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 6]: /images/20210724/c8462ffcf1764e85bbb4f4ae7cbc8b18.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 7]: /images/20210724/444913bced1e4efdbc73b4ab3617c1c6.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 8]: /images/20210724/1453932e72014db594d2dfac933f8152.png
[20180507204011793]: /images/20210724/c9acb6a295764029832aa436a3a6de42.png