【Python爬虫】爬取搜狗首页的页面数据

ゝ一纸荒年。 2022-12-13 14:09 176阅读 0赞

#### 分析 ####

1、**指定url**  
首先进入搜狗搜索页面，**指定url**，并进行**UA伪装**。  
UA就是User-Agent，UA伪装就是让爬虫对应的请求载体身份标识伪装成某一款浏览器。因为门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，就说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求（爬虫），服务器就很有可能会拒绝该次请求。  
我们进入到搜狗搜索页面，打开开发者工具（鼠标右击，点击“检查”即可），点击Network，刷新页面。我们可以找到对应的URL和User-Agent。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 1]  
2、**发起请求**  
我们可以通过开发者工具看到请求方式为GET，所以我们使用requests.get()方法。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 2]  
3、**获取响应数据**  
从下图可知，内容的类型为text/html，所以我们使用 .text，返回字符串形式的响应数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 3]  
4、**持久化存储**

#### 代码 ####

import requests
    if __name__ == "__main__":
        # 1、指定url
        url = 'https://www.sogou.com/'
    
        # 2、发起请求
        # get方法会返回一个响应对象
        response = requests.get(url=url)
    
        # 3、获取响应数据
        # .text返回的是字符串形式的响应数据
        page_text = response.text
    
        # 4、持久化存储
        with open('sogou.html', 'w', encoding='utf-8') as fp:
            fp.write(page_text)
        print('爬取数据结束！！！')

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/c4afbc5f017e4a9285e0efd764a36c0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/605eb559222040a08574fe01af71e892.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/ff6c1f0bcfe04875a9501d0d31f2a3bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/e8166d023c79434c8911babf78a10da9.png