13-python爬虫之JSON操作

╰+哭是因爲堅強的太久メ 2022-12-18 15:55 173阅读 0赞

结构化的数据是最好处理，一般都是类似JSON格式的字符串，直接解析JSON数据，提取JSON的关键字段即可。

### **JSON** ###

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式；适用于进行数据交互的场景，比如网站前台与后台之间的数据交互

Python 3.x中自带了JSON模块，直接import json就可以使用了。

Json模块提供了四个功能：dumps、dump、loads、load,用于字符串 和 python数据类型间进行转换

Python操作json的标准api库参考

https://docs.python.org/zh-cn/3/library/json.html

在线JSON格式化代码

http://tool.oschina.net/codeformat/json

### **1. json.loads()** ###

实现：json字符串 转化 python的类型，返回一个python的类型

从json到python的类型转化对照如下：

![format_png][]

import json
    a="[1,2,3,4]"
    b='{"k1":1,"k2":2}'#当字符串为字典时{}外面必须是''单引号{}里面必须是""双引号
    print json.loads(a) 
    [1, 2, 3, 4]
    print json.loads(b) 
    {'k2': 2, 'k1': 1}

#### **案例** ####

获取豆瓣电影热门

![format_png 1][]

import urllib.parse
    import urllib.request
    import json
    url='https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0'
    # 豆瓣最新 热门
    
    
    herders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36', 'Referer':'https://movie.douban.com','Connection':'keep-alive'}
    # 请求头信息
    
    
    req = urllib.request.Request(url,headers=herders)
    # 设置请求头
    response=urllib.request.urlopen(req)
    # 发起请求，得到response响应
    
    
    hjson = json.loads(response.read())
    # json转换为字典
    
    
    # 遍历字典中的电影，item是每条电影信息
    for item in hjson["subjects"]:
        print(item["rate"],item["title"])
        # 打印每条电影的评分与标题

#### 输出 ####

6.9 神弃之地
    7.2 从邪恶中拯救我
    6.1 福尔摩斯小姐：失踪的侯爵
    6.2 夺命隧道
    6.3 OK老板娘
    7.3 我想结束这一切
    8.3 鸣鸟不飞：乌云密布
    7.7 1/2的魔法
    7.8 树上有个好地方
    6.3 妙先生
    5.1 釜山行2：半岛
    ...

####     ####

#### **2. json.dumps()** ####

实现python类型转化为json字符串，返回一个str对象

从python原始类型向json类型的转化对照如下：

![format_png 2][]

import json
    a = [1,2,3,4]
    b ={"k1":1,"k2":2}
    c = (1,2,3,4)
    json.dumps(a)
    '[1, 2, 3, 4]'
    json.dumps(b)
    '{"k2": 2, "k1": 1}'
    json.dumps(c)
    '[1, 2, 3, 4]'

####     ####

#### **json.dumps 中文编码问题** ####

如果Python Dict字典含有中文，json.dumps 序列化时对中文默认使用的ascii编码

import chardet
    import json
    b = {"name":"中国"}
    json.dumps(b)
    '{"name": "\\u4e2d\\u56fd"}'
    print json.dumps(b)
    {"name": "\u4e2d\u56fd"}
    chardet.detect(json.dumps(b))
    {'confidence': 1.0, 'encoding': 'ascii'}

'中国' 中的ascii 字符码，而不是真正的中文。

想输出真正的中文需要指定**ensure\_ascii=False**

json.dumps(b,ensure_ascii=False)
    '{"name": "\xe6\x88\x91"}'
    print json.dumps(b,ensure_ascii=False) 
    {"name": "我"}
    chardet.detect(json.dumps(b,ensure_ascii=False))
    {'confidence': 0.7525, 'encoding': 'utf-8'}

### **3. json.dump()** ###

把Python类型 以 字符串的形式 写到文件中

import json
    a = [1,2,3,4]
    json.dump(a,open("digital.json","w"))
    b = {"name":"我"}
    json.dump(b,open("name.json","w"),ensure_ascii=False)
    json.dump(b,open("name2.json","w"),ensure_ascii=True)

### **4. json.load()** ###

读取 文件中json形式的字符串元素 转化成python类型

# -*- coding: utf-8 -*-
    import json
    number = json.load(open("digital.json"))
    print number
    b = json.load(open("name.json"))
    print b
    b.keys()
    print b['name']

#### 实战项目 ####

获取 lagou 城市表信息

![format_png 3][]

import urllib.parse
    import urllib.request
    import json
    url='http://www.lagou.com/lbs/getAllCitySearchLabels.json?'
    # 拉钩城市列表
    
    
    herders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36', 'Referer':'http://www.lagou.com','Connection':'keep-alive'}
    # 请求头信息
    
    
    req = urllib.request.Request(url,headers=herders)
    
    
    # 设置请求头
    response=urllib.request.urlopen(req)
    # 发起请求，得到response响应
    
    
    hjson = json.loads(response.read())
    # print(hjson)
    # json转换为字典
    
    
    # 遍历字典中A开头的城市列表
    for item in hjson["content"]["data"]["allCitySearchLabels"]["A"]:
        print(item["name"],item["code"])
        # 打印A 开头的城市清除与代码

输出：

安阳 171500000
    安庆 131800000
    鞍山 081600000
    安顺 240400000
    安康 270400000
    阿克苏 311800000
    阿拉善盟 070300000
    阿勒泰 310400000
    阿坝藏族羌族自治州 230700000
    ...

### **JSONPath** ###

JSON 信息抽取类库，从JSON文档中抽取指定信息的工具

#### JSONPath与Xpath区别 ####

JsonPath 对于 JSON 来说，相当于 XPATH 对于XML。

下载地址：

https://pypi.python.org/pypi/jsonpath/

安装方法：pip install jsonpath

参考文档

<table> 
 <tbody> 
  <tr> 
   <td><strong>XPath</strong></td> 
   <td><strong>JSONPath</strong></td> 
   <td><strong>Result</strong></td> 
  </tr> 
  <tr> 
   <td><code>/store/book/author</code></td> 
   <td><code>$.store.book[<em>].author</em></code></td> 
   <td>获取所有store中的book的author</td> 
  </tr> 
  <tr> 
   <td><code>//author</code></td> 
   <td><code>$..author</code></td> 
   <td>获取所有 authors</td> 
  </tr> 
  <tr> 
   <td><code>/store/</code></td> 
   <td><code>$.store.</code></td> 
   <td>all things in store, which are some books and a red bicycle.</td> 
  </tr> 
  <tr> 
   <td><code>/store//price</code></td> 
   <td><code>$.store..price</code></td> 
   <td>获取store中所有的price<br></td> 
  </tr> 
  <tr> 
   <td><code>//book[3]</code></td> 
   <td><code>$..book[2]</code></td> 
   <td>第二个&nbsp;book</td> 
  </tr> 
  <tr> 
   <td><code>//book[last()]</code></td> 
   <td><code>$..book[(@.length-1)]</code><code>$..book[-1:]</code></td> 
   <td>获取到最后一个book</td> 
  </tr> 
  <tr> 
   <td><code>//book[position()&lt;3]</code></td> 
   <td><code>$..book[0,1]</code><code>$..book[:2]</code></td> 
   <td>获取到前两个&nbsp;books</td> 
  </tr> 
  <tr> 
   <td><code>//book[isbn]</code></td> 
   <td><code>$..book[?(@.isbn)]</code></td> 
   <td>获取到有isbn属性的book</td> 
  </tr> 
  <tr> 
   <td><code>//book[price&lt;10]</code></td> 
   <td><code>$..book[?(@.price&lt;10)]</code></td> 
   <td>获取所有的book ，price小于10</td> 
  </tr> 
  <tr> 
   <td><code>//</code></td> 
   <td><code>$..*</code></td> 
   <td>匹配任意元素</td> 
  </tr> 
 </tbody> 
</table>

#### 案例 ####

还是以 http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例，获取所有城市

import urllib.requestimport jsonimport jsonpathurl='http://www.lagou.com/lbs/getAllCitySearchLabels.json'# 拉钩城市列表
    herders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36', 'Referer':'http://www.lagou.com','Connection':'keep-alive'}# 请求头信息
    req = urllib.request.Request(url,headers=herders)
    # 设置请求头response=urllib.request.urlopen(req)# 发起请求，得到response响应
    hjson = json.loads(response.read())# 将字符加载为json对象citylist = jsonpath.jsonpath(hjson,'$..name')# 获取到所有的 城市名称
    # print (type(citylist)) # <class 'list'>content = json.dumps(citylist,ensure_ascii=False)# 列表转换为json 字符串 ，不使用ascii编码，fp = open('city.json','w')# 打开文件fp.write(content)# 写入文件fp.close()# 关闭文件

### 输出文件为 ###

![format_png 4][]

**XML**

xmltodict模块让使用XML感觉跟操作JSON一样

Python操作XML的第三方库参考：

https://github.com/martinblech/xmltodict

模块安装：

pip install xmltodict

import xmltodict
    bookdict = xmltodict.parse("""
            <bookstore>
                <book>
                      <title lang="eng">Harry Potter</title>
                      <price>29.99</price>
                </book>
                <book>
                      <title lang="eng">Learning XML</title>
                      <price>39.95</price>
                </book>
        </bookstore>
        """)
    print bookdict.keys()
    [u'bookstore']
    print(json.dumps(bookdict,indent=4))

输出结果：

{
        "bookstore": {
            "book": [
                {
                    "title": {
                        "@lang": "eng", 
                        "#text": "Harry Potter"
                    }, 
                    "price": "29.99"
                }, 
                {
                    "title": {
                        "@lang": "eng", 
                        "#text": "Learning XML"
                    }, 
                    "price": "39.95"
                }
            ]
        }
    }

### **单词表** ###

"""
    单词表 
    content         内容
    loads           加载
    dumps           输出 （倾倒）
    citylist        城市列表
    JSON(JavaScript Object Notation)
    ( JS 对象对象表述数据)
    path            路径
    request         请求
    headers         头信息
    response        响应
    read            读取
    content         内容
    
    
    """

###     ###

### **数据提取总结** ###

*  HTML、XML

XPath
      CSS选择器
      正则表达式

*  JSON

JSONPath
      转化成Python类型进行操作（json类）

*  XML

转化成Python类型（xmltodict）
      XPath
      CSS选择器
      正则表达式

*  其他（js、文本、电话号码、邮箱地址）

正则表达式

《0基础python爬虫系列教程》

<table> 
 <tbody> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320125dc458833960e697aa9cf6efd4beda9850e74d05c284f0a9946d98fa93bb12a4324b3&amp;idx=2&amp;mid=2247485516&amp;scene=21&amp;sn=bb0633aa198a9ac55bfa74060155ee74#wechat_redirect" rel="nofollow">01为什么要学习爬虫</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc45881592fa51bd62b7d7820b4b506c4a3933a9fad6833d49ce360294f2fe0c6402&amp;idx=2&amp;mid=2247485546&amp;scene=21&amp;sn=9467b8493b4a252d7c39799e58813575#wechat_redirect" rel="nofollow">02-认识python爬虫</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc4588155293377a2843fc247e3c404f19eb523b875e988e64bc544d98c1b8d7854b&amp;idx=3&amp;mid=2247485546&amp;scene=21&amp;sn=e588e1f9b369323817acb125a7a2fa13#wechat_redirect" rel="nofollow">03-爬虫基本原理</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc458973634e1f97683d26b920c3b23dd975286c595065c0e44c3f13a8c74274f7a2&amp;idx=2&amp;mid=2247485708&amp;scene=21&amp;sn=02145cd8d7f0ba50be1ad4f83e60c12b#wechat_redirect" rel="nofollow">04-爬虫利器Fiddler</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc4589730f0f40ed783f45d1a71974a3037ede904e68fe967752f2def4daf04a8e16&amp;idx=3&amp;mid=2247485708&amp;scene=21&amp;sn=9fe3f40863c13431a80abb6a11bc8f1a#wechat_redirect" rel="nofollow">05-HTTP协议-</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc458951e91b4f5ac10d8580840e3fd8aa63ac8c217f8df2d9c643cbda75c22def9f&amp;idx=2&amp;mid=2247485742&amp;scene=21&amp;sn=6be1c823ade912410f109a7f42ffffd3#wechat_redirect" rel="nofollow">06-爬虫库urllib</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc4589512a5d2062893b86474a037111067d05b57c04355b967c22b04ce3395ea96f&amp;idx=3&amp;mid=2247485742&amp;scene=21&amp;sn=7a54ccaa4836d2a7e5128f233e8c9e5d#wechat_redirect" rel="nofollow">07-TCP3</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892d17198bb56448b4600aabd63c84667dccd8fc032647300da843d0ea15be88&amp;idx=3&amp;mid=2247485778&amp;scene=21&amp;sn=f086472aa06577ab8c0567a927721994#wechat_redirect" rel="nofollow">08-页面解析之数据提取</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892dc9d2ae5b11e1ec1357a1d2884ad3d1de51775c02a3045c336068e2ba3b37&amp;idx=2&amp;mid=2247485778&amp;scene=21&amp;sn=adbe45fd796a285d8c54f38d2727c496#wechat_redirect" rel="nofollow">09-XPath 语言</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32000edc45891837fbcaa3dc21becf71e86dcd25f599e7d8f59158bf339ddaad9f4c75dd90&amp;idx=2&amp;mid=2247485799&amp;scene=21&amp;sn=6ed8d9212f4bfb4d710523dfb478e9c4#wechat_redirect" rel="nofollow">10-lxml库‍</a></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320010dc458906991372249d605f7ac28b1bf649ce55cf5ba1255b42d9b153b003d6c9ccfd&amp;idx=2&amp;mid=2247485817&amp;scene=21&amp;sn=fc3c41347968b123ed51d0c61508428c#wechat_redirect" rel="nofollow">11-Beautiful Soup</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3200d6dc4589c005e613206c66915ef25f8740c3947a1cdac2a3f20135dad3b464c64cf5df&amp;idx=2&amp;mid=2247485887&amp;scene=21&amp;sn=9140a4874523e0e2aec3252577ab12a6#wechat_redirect" rel="nofollow">12-正则表达式</a><br></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td align="center"><p><img src="https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy85eTFUZUhZejFBenluRzJDaWFvTElXMDRZbmNMcmlhdUhIc2NBeWFUaWE2MnNPdHJCZmtzQ3F1ME93ZWliaWFMYkZUaWJCMzk0dXF5MUlJWHYxOGJyY3E5M0pTdy82NDA?x-oss-process=image/format,png"></p><p>IT入门&nbsp;感谢关注</p></td> 
   <td align="left"><p>一学就会&nbsp;Python入门教程 →</p><p>程序员用的单词表→</p><p>练习地址：www.520mg.com/it</p></td> 
  </tr> 
 </tbody> 
</table>

[format_png]: /images/20221122/329c8d15233541ed982f383108467d9f.png
[format_png 1]: /images/20221122/6205bc8265fa4c79a3f333070f6125ea.png
[format_png 2]: /images/20221122/1b429b9d534b42b3a483fa998b4652fd.png
[format_png 3]: /images/20221122/7fa90e86ec6a471dbfeaf695265e486d.png
[format_png 4]: /images/20221122/02c6935b218e405ebe1cd0ff61a63e16.png