python爬虫（一）

野性酷女 2024-03-30 15:07 86阅读 0赞

一、理论![在这里插入图片描述][d92a128ff0bf4c91bfdf8dad3271f243.png]  
（1）URL管理器：网页之间的链接很复杂，a指向b，b指向a，如果不对其进行管理则可能导致重复爬取、循环爬取，因此单独用该模块进行管理。URL管理器有两个功能，分别是URL队列管理（url优先级，按先后顺序爬取，按网页权重爬取），防止重复、循环爬取。  
（2）网页下载器：URL管理器输出的是URL,将其传给网页下载器，网页下载器使用python自动实现网页内容的下载，下载好后输出的是html，即网页的内容。注意：网页下载器还需解决网页登陆（有些网页是动态加载的）、拒绝下载的问题。  
（3）网页解析器：网页下载器输出的内容传给网页解析器，网页解析器还可补充新的url（未爬取过的）给URL管理器。可对网页解析器 的数据存储步骤进行扩展，将其存到指定数据库中。

二、环境安装  
在pycharm中新建一个项目，在pycharm的终端（terminal)使用pip install 指令下载三个包：requests,beautifulsoup4,selenium.  
用如下代码测试是否下载成功：

import requests
    from bs4 import BeautifulSoup
    import selenium
    
    print("hi")

无报错则下载成功：  
![在这里插入图片描述][dc6fe25e14e8418186c2a4e9b706437f.png]  
三、python中库的使用说明  
request有两个方法，get和post。  
![在这里插入图片描述][936fe1c9ceb54947b5e3083c0bae8435.png]  
补充：（1）params中的内容也可拼接到url后面。  
（2）headers：如果hears为空，很容易被网站认为是爬虫程序而被禁止访问，这时可以设置一些虚假的header项。  
（3）timeout:有些服务器有问题，不设置超时时间程序会卡住，设置时间自动中断。  
（4）allow\_redirects:有些网页访问url会自动进行跳转，requests会自动处理跳转，返回的是跳转之后的内容，而将allow\_redirects设为false请求的则是跳转前的内容。  
![在这里插入图片描述][a67cb4739d45494aad0ff12eca553863.png]  
上图说明了如何获取requests得到的数据。  
补充：（1）r.encoding很重要，有些网页返回的内容也许是乱码。

四、简单示例  
![在这里插入图片描述][33122ff96a004ff0bf9953fb7f0e1a8a.png]  
注意上面content-type字段的内容。  
五、解决乱码问题  
![在这里插入图片描述][3650d12daa7e462ab3400b06cadb595c.png]  
该网页的 headers中content-type中未设置utf-8导致中文显示不出（乱码）：  
![在这里插入图片描述][e209a908554e4f8a83823399379738f6.png]  
解决方法：添加下面一行代码  
![在这里插入图片描述][0e75c6f426cc4314b391be96d179a0c9.png]

[d92a128ff0bf4c91bfdf8dad3271f243.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8efbb821d1374b23ab5d6131a04a1ead.png
[dc6fe25e14e8418186c2a4e9b706437f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1483c8604a4245e7b76fd2a1da47b993.png
[936fe1c9ceb54947b5e3083c0bae8435.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e679bb98ec13480da0d466631f9fa96f.png
[a67cb4739d45494aad0ff12eca553863.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/70435a83e2f04f90bef4b7b60df80046.png
[33122ff96a004ff0bf9953fb7f0e1a8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cc117be9230e40279e317a63179badcb.png
[3650d12daa7e462ab3400b06cadb595c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e618e1a8f0f745d0a72c4da554792e86.png
[e209a908554e4f8a83823399379738f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cb8d59b84260445f850cd0d42a53091c.png
[0e75c6f426cc4314b391be96d179a0c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/84de721916cd44bdb32179b82a905cf6.png