Python scrapy爬取京东，百度百科出现乱码，解决方案

青旅半醒 2022-01-05 14:29 217阅读 0赞

# Python scrapy爬取京东 百度百科出现乱码 解决方案 #

## 十分想念顺店杂可。。。 ##

# 抓取百度百科，出现乱码 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70]

# 把页面源码下载下来之后，发现全是乱码，浏览器打开 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 1]

# 但是浏览器链接打开就没有乱码 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 2]

# 以下是浏览器里面的源码 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 3]

# 到这一步说明我们下载网页源码，保存的时候出了问题找了好久，才知道是编码问题，以下为解决方案 #

# -*- coding: utf-8 -*-
    # @Time    : 2019/5/13 15:49
    # @Author  : 甄超锋
    # @Email   : 4535@sohu.com
    # @File    : asd.py
    # @Software: PyCharm
    import requests
    
    url = "https://baike.baidu.com/item/%E6%9D%8E%E5%B9%BC%E6%96%8C/7850567#1"
    
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0",
        "Host": "baike.baidu.com",
        "Connection": "keep-alive",
    }
    
    response = requests.get(url=url, headers=headers)
    text_iso_by = bytes(response.text, encoding="ISO-8859-1")
    text_iso = text_iso_by.decode("utf-8")
    with open("1.html", "w", encoding="utf-8") as f:
        f.write(text_iso)

# 运行后用浏览器打开 1.html 文件，结果如下： #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 4]

# 至此乱码解决，喜欢请收藏，谢谢 #

pythonQQ交流群：785239887

转载于:https://www.cnblogs.com/zhenchoafeng/p/10863725.html

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70]: /images/20211228/7c7ce1e651624d3d998817f20696f99b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 1]: /images/20211228/d065cdecadb34e1985caf964da25d7ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 2]: /images/20211228/356b9fc7fbb1464f8e547956080e1e05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 3]: /images/20211228/c107dcec47434ebf9c148e125d3a246c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yX1poZW4_size_16_color_FFFFFF_t_70 4]: /images/20211228/1f21b3dbef0948bc8146166f33eb6aa2.png