python爬虫——获取携程城市缩写（存入数据库）

约定不等于承诺〃 2021-12-04 05:11 607阅读 0赞

爬虫能够帮我们收集到很多信息。  
我想获取携程各个票的信息，虽然一个一个城市的输入也可以得到想要的信息，但是为了模块化的获取信息，我们应该对城市（city）信息建立一个字典，所以需要得到携程提供的城市名称缩写。

## 前提 ##

编译IDA：pycharm 社区版  
python版本：python3.7.4  
用到的库：json(自带)、re(自带)、requests（导入）、pymysql（导入）

pip install requests
    pip install pymysql

## 步骤 ##

**1、查看携程信息**  
发现这个不是放在 HTML 中，查看XHR，是 json 中，所以不是简单的获取界面，需要统一资源定位器（url）和请求头（headers）。  
（1）提供的接口（api）:[https://flights.ctrip.com/itinerary/api/poi/get][https_flights.ctrip.com_itinerary_api_poi_get]  
（2）需要找到请求头 headers  
（3）参数里面没有东西，说明不需要请求载荷（payload）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]  
**2、获取 json 信息**  
可以发现已经获取 json 信息，即所有的数据

import requests
    import json
    
    # 固定提供的 api 接口
        url = "https://flights.ctrip.com/itinerary/api/poi/get"
        # 根据自己的请求头修改
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0",
            "Referer": "https://flights.ctrip.com/itinerary",
            "Content-Type": "application/json"
        }
    
        # get请求
        response = requests.get(url, headers=headers).text
        print(response)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 1]  
**3、提炼信息**  
但是我们只要城市名称、城市缩写  
所以我们要一层一层的剥离，然后取出我们想要的信息  
我们想要的信息就在 data->ABCDEF(其中一个)->A(其中一个)->0(其中一个)中  
应为字母他不是有规律的，所以需要分开写，我还是编写的一个模块统一处理  
“ABCDEF”、 “GHIJ” 、“KLMN”、“PQRSTUVW”、 “XYZ”（少了一个O，而且有的里面没有信息，需要判断一下）

def getData(Data, letters):
        # 求长度，等下会用到的下标
        length = len(letters)
        # 得到各字母串的 json 信息
        letter = Data.get(letters)
        # 挨个字母城市信息
        for i in range(0, length):
            # 字母 I 中没有东西，所以需要判断一下去掉
            if letter.get(letters[i]) is not None:
                # 每个城市信息
                character = letter.get(letters[i])
                for info in character:
                    # 取自己想要的信息
                    CN = info.get('display')
                    # 取 左移三位到结尾的信息（即城市缩写）
                    cityData = info.get('data')
                    # 取编号
                    EN = cityData[-3:]
                    num = re.findall(r"\d+", cityData)
                    # 不换行输出 格式为：（'阿勒泰': 'AAT' ）
                    # print("'"+CN+"'"+":"+" '"+EN+"'"+", ", end="")
                    print(CN, EN, num[0])
                    # print(num)
                    # 增加至数据库
                    # sql = "insert into city(CN, EN, num) values('%s','%s',%d)" % (CN, EN, int(num[0]))
                    # mysql(sql)
        print("")

**主函数中**

# get请求
        response = requests.get(url, headers=headers).text
        # 以下都是 json 请求
        # print(response)
        data = json.loads(response).get('data')
        # print(data)
        getData(data, "ABCDEF")
        getData(data, "GHIJ")
        getData(data, "KLMN")
        # 少了一个字母O
        getData(data, "PQRSTUVW")
        getData(data, "XYZ")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 2]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 3]  
**4、存入数据库**  
其实到这里就差不多结束了，不一定要存入数据库，最后还是决定写一写吧。  
也很简单，就是数据库操作，只要会数据库应该没问题  
封装数据库函数，在获取信息处把信息存入数据库（即getData中）

import pymysql
    
    def mysql(sql):
        # IP， 端口， 用户名，密码，一个数据库
        db = pymysql.connect(
            host="localhost",
            port=3308,
            user="root",
            password="123456",
            database="携程"
        )
        cur = db.cursor()
        try:
            # 执行sql语句
            cur.execute(sql)
            db.commit()
    
        except Exception as e:
            raise e
    
        finally:
            db.close()

**添加语句**

# 增加至数据库
      	sql = "insert into city(CN, EN, num) values('%s','%s',%d)" % (CN, EN, int(num[0]))
      	mysql(sql)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 4]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 5]

## 整体代码 ##

import requests
    import json
    import pymysql
    import re
    
    
    def mysql(sql):
        # IP， 端口， 用户名，密码，一个数据库
        db = pymysql.connect(
            host="localhost",
            port=3308,
            user="root",
            password="123456",
            database="携程"
        )
        cur = db.cursor()
        try:
            # 执行sql语句
            cur.execute(sql)
            db.commit()
        except Exception as e:
            raise e
        finally:
            db.close()
    
    
    def getData(Data, letters):
        # 求长度，等下会用到的下标
        length = len(letters)
        # 得到各字母串的 json 信息
        letter = Data.get(letters)
        # 挨个字母城市信息
        for i in range(0, length):
            # 字母 I 中没有东西，所以需要判断一下去掉
            if letter.get(letters[i]) is not None:
                # 每个城市信息
                character = letter.get(letters[i])
                for info in character:
                    # 取自己想要的信息
                    CN = info.get('display')
                    cityData = info.get('data'）
                    # 取左移三位到结尾的信息（即城市缩写）
                    EN = cityData[-3:]
                    # 取编号
                    num = re.findall(r"\d+", cityData)
                    # 不换行输出 格式为：（'阿勒泰': 'AAT' ）
                    print("'"+CN+"'"+":"+" '"+EN+"'"+", ", end="")
                    # print(CN, EN, num[0])
                    # 增加至数据库
                    # sql = "insert into city(CN, EN, num) values('%s','%s',%d)" % (CN, EN, int(num[0]))
                    # mysql(sql)
        print("")
    
    
    if __name__ == "__main__":
        # 固定提供的 api 接口
        url = "https://flights.ctrip.com/itinerary/api/poi/get"
        # 根据自己的请求头修改
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0",
            "Referer": "https://flights.ctrip.com",
            "Content-Type": "application/json"
        }
    
        # get请求
        response = requests.get(url, headers=headers).text
        # 以下都是 json 请求
        # print(response)
        data = json.loads(response).get('data')
        # print(data)
        getData(data, "ABCDEF")
        getData(data, "GHIJ")
        getData(data, "KLMN")
        # 少了一个字母O
        getData(data, "PQRSTUVW")
        getData(data, "XYZ")

## 总结 ##

**1、主要是找到接口、找到请求头、判断请求载荷**  
**2、对信息一层层的剥离、获取**  
3、其中有一点错误，就是**荆门**因为名字中有数字，导致他的**num编号**正则表达式提取为1，需要手动修改下为1121

为什么格式是这样的，当然是当字典用啊，直接复制就行了

city = {
        '阿勒泰': 'AAT', '阿克苏': 'AKU', '鞍山': 'AOG', '安庆': 'AQG', '安顺': 'AVA', '阿拉善左旗': 'AXF', '澳门': 'MFM', '阿里': 'NGQ',
        '阿拉善右旗': 'RHT', '阿尔山': 'YIE', '巴中': 'BZX', '百色': 'AEB', '包头': 'BAV', '毕节': 'BFJ', '北海': 'BHY', '北京': 'BJS',
        '北京(南苑机场)': 'NAY', '北京(首都国际机场)': 'PEK', '博乐': 'BPL', '保山': 'BSD', '白城': 'DBC', '布尔津': 'KJI', '白山': 'NBS',
        '巴彦淖尔': 'RLK', '昌都': 'BPX', '承德': 'CDE', '常德': 'CGD', '长春': 'CGQ', '朝阳': 'CHG', '赤峰': 'CIF', '长治': 'CIH',
        '重庆': 'CKG', '长沙': 'CSX', '成都': 'CTU', '沧源': 'CWJ', '常州': 'CZX', '池州': 'JUH', '潮州': 'SWA', '潮汕': 'SWA',
        '大同': 'DAT', '达县': 'DAX', '达州': 'DAX', '稻城': 'DCY', '丹东': 'DDG', '迪庆': 'DIG', '大连': 'DLC', '大理': 'DLU',
        '敦煌': 'DNH', '东营': 'DOY', '大庆': 'DQA', '德令哈': 'HXD', '德宏': 'LUM', '鄂尔多斯': 'DSN', '额济纳旗': 'EJN', '恩施': 'ENH',
        '二连浩特': 'ERL', '福州': 'FOC', '阜阳': 'FUG', '抚远': 'FYJ', '富蕴': 'FYN',
        '广州': 'CAN', '果洛': 'GMQ', '格尔木': 'GOQ', '广元': 'GYS', '固原': 'GYU', '高雄': 'KHH', '赣州': 'KOW', '贵阳': 'KWE',
        '桂林': 'KWL', '红原': 'AHJ', '海口': 'HAK', '河池': 'HCJ', '邯郸': 'HDG', '黑河': 'HEK', '呼和浩特': 'HET', '合肥': 'HFE',
        '杭州': 'HGH', '淮安': 'HIA', '怀化': 'HJJ', '海拉尔': 'HLD', '哈密': 'HMI', '衡阳': 'HNY', '哈尔滨': 'HRB', '和田': 'HTN',
        '花土沟': 'HTT', '花莲': 'HUN', '霍林郭勒': 'HUO', '惠阳': 'HUZ', '惠州': 'HUZ', '汉中': 'HZG', '黄山': 'TXN', '呼伦贝尔': 'XRQ',
        '嘉义': 'CYI', '景德镇': 'JDZ', '加格达奇': 'JGD', '嘉峪关': 'JGN', '井冈山': 'JGS', '景洪': 'JHG', '金昌': 'JIC', '九江': 'JIU',
        '晋江': 'JJN', '荆门': 'JM1', '佳木斯': 'JMU', '济宁': 'JNG', '锦州': 'JNZ', '建三江': 'JSJ', '鸡西': 'JXA', '九寨沟': 'JZH',
        '金门': 'KNH', '揭阳': 'SWA', '济南': 'TNA',
        '库车': 'KCA', '康定': 'KGT', '喀什': 'KHG', '凯里': 'KJH', '昆明': 'KMG', '库尔勒': 'KRL', '克拉玛依': 'KRY', '黎平': 'HZH',
        '澜沧': 'JMJ', '连城': 'LCX', '龙岩': 'LCX', '临汾': 'LFQ', '兰州': 'LHW', '丽江': 'LJG', '荔波': 'LLB', '吕梁': 'LLV',
        '临沧': 'LNJ', '陇南': 'LNL', '六盘水': 'LPF', '拉萨': 'LXA', '洛阳': 'LYA', '连云港': 'LYG', '临沂': 'LYI', '柳州': 'LZH',
        '泸州': 'LZO', '林芝': 'LZY', '芒市': 'LUM', '牡丹江': 'MDG', '马祖': 'MFK', '绵阳': 'MIG', '梅县': 'MXZ', '梅州': 'MXZ',
        '马公': 'MZG', '满洲里': 'NZH', '漠河': 'OHE', '南昌': 'KHN', '南竿': 'LZN', '南充': 'NAO', '宁波': 'NGB', '南京': 'NKG',
        '宁蒗': 'NLH', '南宁': 'NNG', '南阳': 'NNY', '南通': 'NTG',
        '澎湖列岛': 'MZG', '攀枝花': 'PZI', '普洱': 'SYM', '琼海': 'BAR', '秦皇岛': 'BPE', '祁连': 'HBQ', '且末': 'IQM', '庆阳': 'IQN',
        '黔江': 'JIQ', '泉州': 'JJN', '衢州': 'JUZ', '齐齐哈尔': 'NDG', '青岛': 'TAO', '日照': 'RIZ', '日喀则': 'RKZ', '若羌': 'RQA',
        '神农架': 'HPG', '石狮': 'JJN', '莎车': 'QSZ', '上海': 'SHA', '上海(浦东国际机场)': 'PVG', '上海(虹桥国际机场)': 'SHA', '沈阳': 'SHE',
        '石河子': 'SHF', '石家庄': 'SJW', '上饶': 'SQD', '三明': 'SQJ', '汕头': 'SWA', '三亚': 'SYX', '深圳': 'SZX', '十堰': 'WDS',
        '邵阳': 'WGN', '松原': 'YSQ', '台州': 'HYN', '台中': 'RMQ', '塔城': 'TCG', '腾冲': 'TCZ', '铜仁': 'TEN', '通辽': 'TGO',
        '天水': 'THQ', '吐鲁番': 'TLQ', '通化': 'TNH', '台南': 'TNN', '台北': 'TPE', '天津': 'TSN', '台东': 'TTT', '唐山': 'TVS',
        '太原': 'TYN', '泰州': 'YTY', '五大连池': 'DTU', '乌兰浩特': 'HLH', '乌兰察布': 'UCB', '乌鲁木齐': 'URC', '潍坊': 'WEF', '威海': 'WEH',
        '文山': 'WNH', '温州': 'WNZ', '乌海': 'WUA', '武汉': 'WUH', '武夷山': 'WUS', '无锡': 'WUX', '梧州': 'WUZ', '万州': 'WXN',
        '乌拉特中旗': 'WZQ',
        '兴义': 'ACX', '香格里拉': 'DIG', '夏河': 'GXH', '香港': 'HKG', '西双版纳': 'JHG', '新源': 'NLT', '西安': 'SIA', '咸阳': 'SIA',
        '忻州': 'WUT', '信阳': 'XAI', '襄阳': 'XFN', '西昌': 'XIC', '锡林浩特': 'XIL', '厦门': 'XMN', '西宁': 'XNN', '徐州': 'XUZ',
        '延安': 'ENY', '银川': 'INC', '伊春': 'LDS', '永州': 'LLF', '榆林': 'UYN', '宜宾': 'YBP', '运城': 'YCU', '宜春': 'YIC',
        '宜昌': 'YIH', '伊犁': 'YIN', '伊宁': 'YIN', '义乌': 'YIW', '营口': 'YKH', '延吉': 'YNJ', '烟台': 'YNT', '盐城': 'YNZ',
        '扬州': 'YTY', '玉树': 'YUS', '岳阳': 'YYA', '郑州': 'CGO', '张家界': 'DYG', '芷江': 'HJJ', '舟山': 'HSN', '扎兰屯': 'NZL',
        '张掖': 'YZY', '昭通': 'ZAT', '湛江': 'ZHA', '中卫': 'ZHY', '张家口': 'ZQZ', '珠海': 'ZUH', '遵义': 'ZYI',
    }

[https_flights.ctrip.com_itinerary_api_poi_get]: https://flights.ctrip.com/itinerary/api/poi/get
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]: /images/20211204/b95db02151f4423bbee3af84f746d690.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 1]: /images/20211204/5087401b6dac4d51aab08788ba126b08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190717230626651.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 3]: /images/20211204/abd1a1edec254fdc8e6a828b3418173a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20190723103702691.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 5]: /images/20211204/49bbc5d0f1864e3d9476757c4c4f7b5f.png