python 爬虫通过高德api接口抓取景区/小区边界

太过爱你忘了你带给我的痛 2022-04-10 10:39 1860阅读 0赞

高德api接口地址：[https://lbs.amap.com/api/webservice/guide/api/search][https_lbs.amap.com_api_webservice_guide_api_search]

如果不是高德开发者可以申请为开发者

第一步，申请”Web服务API”密钥（Key）；

第二步，拼接HTTP请求URL，第一步申请的Key需作为必填参数一同发送；

第三步，接收HTTP请求返回的数据（JSON或XML格式），解析数据。

如无特殊声明，接口的输入参数和输出数据编码全部统一为UTF-8。

1. 通过高德搜索接口得到附近小区搜索列表

解析后获取到正确小区的id

其中city是城市代码,可以通过浏览器手工获取到。words是搜索的具体风景区名称。

url链接

https://restapi.amap.com/v3/place/text?key=4b86820a7590de60e4f81f53e59ae17f&citylimit=true&output=json&

key为申请的密钥，申请详细步骤文档有说明

keywords 查询的关键词，如景区/小区名称

city 查询的目标城市

示例

https://restapi.amap.com/v3/place/text?key=4b86820a7590de60e4f81f53e59ae17f&citylimit=true&output=json&keywords=中山陵景区&city=南京

返回结果为json字符串

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70][]

提取景区/小区的id：B0FFHVEECG

方案1

1.然后通过poiid调用另外一个接口查询该景区/小区

接口地址：

https://ditu.amap.com/detail/get/detail?id=B0FFHVEECG

参数id填写上面获取到的poiid=B0FFHVEECG

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70 1][]

1. 将返回的结果转成json然后逐层提取出来

2.存入数据库或者csv文档

def info(self, response):
            meta = response.meta
            data = json.loads(response.text)
            print(data)
            try:
                if data["status"] == "1":
                    spec = data["data"]["spec"]
                    border = spec["mining_shape"]["shape"]
                    print("border ",border)
                    AllCityDataSQL().UpdateXcJingDianiData((meta["id"]),border)
            except:
                print("查询错误~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~" + meta["url"])

方案2

2. 通过poiid查找边界信息，红色部分可以替换成其他城市代码（身份证前6位）和景区id

接口地址 https://gaode.com/service/poiInfo?query\_type=IDQ&pagesize=20&pagenum=1&qii=true&cluster\_state=5&need\_utd=true&utd\_sceneid=1000&div=PC1000&addr\_poi\_merge=true&is\_classify=true&zoom=11&id=B022F0071G&city=341003

返回json字符串  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70 2][]

value字段 由一堆坐标组成的数值

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70 3][]

1.将返回的结果转成json ，然后逐层提取出来

2.返回的value字段值还需修改一下，将\_换成，才能使用

3.存入数据库或者csv文档

[https_lbs.amap.com_api_webservice_guide_api_search]: https://lbs.amap.com/api/webservice/guide/api/search
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70]: /images/20220331/43b70f1c6ee647be930669c2f98561db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70 1]: /images/20220331/25f0a822adcf46609fb770dd18f4a6b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70 2]: /images/20220331/aec7615977b0489196e06ba0cef244a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDkwMjUyNw_size_16_color_FFFFFF_t_70 3]: /images/20220331/4d034c912c8749c0b5e3235c3d3b1ae3.png