requests爬取Ajax内容

分手后的思念是犯贱 2021-12-10 04:59 548阅读 0赞

### 介绍 ###

传统的urllib只能爬取静态网站，像Ajax内容则无法显示。

所以想爬取，可以使用requests方法

### 代码 ###

示例[http://www.kfc.com.cn/kfccda/storelist/index.aspx][http_www.kfc.com.cn_kfccda_storelist_index.aspx]的爬取

1.打开网站后，打开开发者工具(F12)，点击XHR，该栏目只显示ajax的请求

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4OTE3NQ_size_16_color_FFFFFF_t_70][]

注意到，请求URL是[http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname][http_www.kfc.com.cn_kfccda_ashx_GetStoreList.ashx_op_cname]而非上边的URL

查看Form Data

![20190715155317218.png][]

这是要用到的

### 代码 ###

import requests
    import re
    class kfc_home(object):
        def __init__(self):
            self.url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"
        def get_page(self):
            #请求头，浏览器标识
            headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
            }
    
            #请求的参数
            param = {
                'cname': '北京',
                'pageIndex': '1',
                'pageSize': '10',
                'pid':''
            }
    
            #data = requests.get(self.url,headers=headers,params=param) 也可以不知道为什么
            data = requests.post(self.url, headers=headers, params=param)
            print(data.text)
            return data.text
    
    
    
    if __name__ == "__main__":
        kfc = kfc_home()
        data = kfc.get_page()

[http_www.kfc.com.cn_kfccda_storelist_index.aspx]: http://www.kfc.com.cn/kfccda/storelist/index.aspx
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4OTE3NQ_size_16_color_FFFFFF_t_70]: /images/20211209/4655ae4decfd4f6b8ddb2d2e06875940.png
[http_www.kfc.com.cn_kfccda_ashx_GetStoreList.ashx_op_cname]: http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
[20190715155317218.png]: /images/20211209/3b6c913bcd854be8873141fe0e1ba3fd.png