爬虫换个头，我用python实现三种随机请求头方式

我不是女神ヾ 2022-12-10 10:24 100阅读 0赞

## **思路介绍:** ##

*  其实要达到随机的效果，很大程度上我们可以利用随机函数库`random` 这个来实现，可以调用`random.choice([user-agent])` 随机pick数组中一个就可以了，这是我的一种方式。
 *  python作为一个拥有众多第三方包的语言，自然就有可以生成随机请求头的包咯，没错，就是`fake-useragent` 这个第三方库了，稍后我们介绍一下这个函数库的简单使用。
 *  既然别人可以写第三方库，自然自己也可以实现一个这样的功能，大部分情况下，我很多代码都是直接调用我自己实现的一个`GetUserAgentCS` 类，直接就可以获取一个随机请求头了，直接写函数库，才牛逼舒服， 这个我也会在下面介绍如何编写函数库。

--------------------

## **自己编写第三方库：** ##

*  不知道你们写代码的框架是怎样的，面向过程还是面向对象？ 对于一次性的代码，就简单的编码就行了，如果你觉得这个代码它可以会在很多的地方用得到，可以重复使用，那么你就可以使用类的方式，去编写这个代码，那么在其他的文件中，你就可以直接调用你的写这个文件，直接调用你写的class类中的各种方法，而我也是这样实现的一个随机请求头的一个第三方库， 如下：

<code class="language-python">import random
 import csv
 
 
 class GetUserAgentCS(object):
 """
 调用本地请求头文件， 返回请求头
 """
 
 def __init__(self):
 with open('D://pyth//scrapy 项目//setting//useragent.csv', 'r') as fr:
 fr_csv = csv.reader(fr)
 self.user_agent = [str(i[1]) for i in fr_csv]
 
 def get_user(self):
 return random.choice(self.user_agent)
 </code>

useragent文件如下：

<code class="language-python">1,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
 2,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"
 3,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"
 4,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"
 5,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
 -------
 ------- # too much 
 100...
 </code>

*代码很简单的，读取本地的csv文件，然后random一个出去就行了，那现在就有人问我，你这个文件怎么来的, 很简单啊，自然就有方法了，待会在下一个模块我会讲到，在这里，我们只需要编写一个`GetUserAgentCS`类就可以，代码可以直接抄我上面的，然后保存为`get_useragent.py` 就可以了，**然后你把这个包文件放在你自己爬虫文件夹的地方**，然后这样调用:*

<code class="language-python">from get_useragent import GetUserAgentCS
 headers = {}
 ua = GetUserAgentCS().get_user()
 headers['user-agent'] = ua
 return headers
 </code>

如果你在这个调用`GetUserAgentCS` 不成功， 或者底下会出现红色的波浪线， 那么就是你没有设置当前工作环境，你只需要这么设置（设置你的爬虫文件夹）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1OTA2MjE5_size_16_color_FFFFFF_t_70_pic_center]  
你需要点击 `Sources Root` 就可以了！

--------------------

## **使用第三方库 fake-useragent：** ##

*  这是一个别人已经写好的第三方库，你需要安装然后调用API 就可以了， 它可以获取各种的请求头，**唯一的缺点就是 请求不稳定**，有的时候网络波动就可能导致获取不成功，用于Scrapy中，不是很舒服，所以我在这个包的基础上，编写了如上我自己的包，至于请求头的数据怎么来的， 就是在这个包运行正常时候，一直更改`user-agent`，然后不断的请求 `http://httpbin.org/user-agent` 然后不断的保存数据，写入本地文件就可以了。

我们还是讲一讲这个包的使用方式吧！

**安装**

<code class="language-python">pip install fake-useragent
 </code>

你可以 pip list 查看一下 是否安装成功

**使用方式**

<code class="language-python">from fake_useragent import UserAgent
 headers= {'User-Agent':str(UserAgent().random)}
 r = requests.get(url, headers=headers)
 </code>

*  UserAgent().random 可以获取任意浏览器的请求头
 *  UserAgent().Chrome 可以获取谷歌浏览器的请求头
 *  UserAgent().firefox 可以获取火狐浏览器的请求头

这个时候，直接用random就可以了，简单。

读后有收获，点赞，关注，加收藏，共勉！  
[点我，点我，点我呀！博主其他文章][Link 1]

## **读取内存数组：** ##

*  这个时候就有很多人说， 我就换个请求头而已，需要这么麻烦吗? 当然，自然有简单的方式，只不过每次都需要复制来用，不是很方法，具体如下：

<code class="language-python">ua = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"
 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"]
 </code>

预先把请求头放入数组里面，然后用就可以了。

<code class="language-python">import random
 ua = [.....]
 r = requests.get(url, headers={"user-agent":random.choice(ua)})</code>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1OTA2MjE5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/923cd6c74af04d04915dc1f7f67e930e.png
[Link 1]: https://blog.csdn.net/qq_45906219