通过动态IP解决网络数据采集问题

矫情吗；* 2023-10-13 10:23 47阅读 0赞

**动态地址的作用**

说到Python网络爬虫，很多人都会遇到困难。最常见的就是爬取过程中IP地址被屏蔽。虽然大部分都是几个小时内自动解封的，但这对于分秒必争的python网络爬虫来说，是一个关键性的打击！当一个爬虫被阻塞时，首先需要为IP选择代理IP软件。

在使用代理IP软件的同时，也要注意适当降低爬虫的抓取频率，将抓取时间设置的长一点，访问时使用随机数，需要抓取多个页面时设置随机访问和抓取。我们甚至可以说，代理ip软件是网络爬虫的利器，因为没有动态IP代理软件，大家的网络爬虫都可能寸步难行。

**Python中动态地址示例**

我这里用的是最常用的requests来做的访问，可以加上一个反爬用的随机请求头。

<table style="margin-left:-.6pt;"> 
 <tbody> 
  <tr> 
   <td style="background-color:#f5f6f7;width:414pt;"> <p style="margin-left:.0001pt;text-align:left;"><span style="color:#646a73;">Python</span><br> from fake_useragent import UserAgent<br> # 使用<br> headers={'User-Agent':UserAgent().random}</p> </td> 
  </tr> 
 </tbody> 
</table>

核心参数proxies

这个单词很容易理解，百度查一下：代理人; (测算用的)代替物，指标; 代理权; 受托人; 代表权;

proxies的格式是一个字典，有 http 与 https 两种，在爬取不同网站时我们需要选用不同类型的网站时选用不同的 proxise，在不知道网站类型时可以将两种类型均放进去，requests 会自动选择合适的。

<table style="margin-left:-.6pt;"> 
 <tbody> 
  <tr> 
   <td style="background-color:#f5f6f7;width:414pt;"> <p style="margin-left:.0001pt;text-align:left;"><span style="color:#646a73;">Python</span><br> proxies = { <br> &nbsp;&nbsp;"http": "http://IP地址:端口号", &nbsp;&nbsp;# http &nbsp;型的<br> &nbsp;&nbsp;"https": "http://IP地址:端口号" &nbsp;&nbsp;# https 型的<br> }</p> </td> 
  </tr> 
 </tbody> 
</table>

具体示例代码

<table style="margin-left:-.6pt;"> 
 <tbody> 
  <tr> 
   <td style="background-color:#f5f6f7;width:414pt;"> <p style="margin-left:.0001pt;text-align:left;"><span style="color:#646a73;">Python</span><br> def randomRead(readUrl, index):<br> &nbsp;&nbsp;&nbsp;&nbsp;"""<br> &nbsp;&nbsp;&nbsp;&nbsp;动态太访问<br> &nbsp;&nbsp;&nbsp;&nbsp;:param readUrl:<br> &nbsp;&nbsp;&nbsp;&nbsp;:param index:<br> &nbsp;&nbsp;&nbsp;&nbsp;:return:<br> &nbsp;&nbsp;&nbsp;&nbsp;"""<br> &nbsp;&nbsp;&nbsp;&nbsp;# 随机访问路径<br><br> &nbsp;&nbsp;&nbsp;&nbsp;getIp = requests.get(IPUrl, headers).text<br> &nbsp;&nbsp;&nbsp;&nbsp;# 设置访问<br> &nbsp;&nbsp;&nbsp;&nbsp;proxies = { <br> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'http': getIp,<br> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'https': getIp<br> &nbsp;&nbsp;&nbsp;&nbsp;}<br> &nbsp;&nbsp;&nbsp;&nbsp;# 随机访问路径<br> &nbsp;&nbsp;&nbsp;&nbsp;toUrl = readUrl[index]<br> &nbsp;&nbsp;&nbsp;&nbsp;# 加入动态IP<br> &nbsp;&nbsp;&nbsp;&nbsp;html = requests.get(toUrl, headers=headers, proxies=proxies)<br> &nbsp;&nbsp;&nbsp;&nbsp;# 设置随机间歇时间<br> &nbsp;&nbsp;&nbsp;&nbsp;random_time = random.uniform(12, 20)<br> &nbsp;&nbsp;&nbsp;&nbsp;time.sleep(random_time)<br> &nbsp;&nbsp;&nbsp;&nbsp;print(toUrl, "\n", html.status_code, ":", getIp, ":", round(random_time, 2))</p> </td> 
  </tr> 
 </tbody> 
</table>

我这里有一个之前写的小工具

![882f2d2b9b934f948bd60125d5722403.png][]

我用来分析数据的，但是请求地址如果单IP批量访问就会被封，或者使用一般的动态IP也会偶尔被封，因为一般一些的动态IP量比较少，而且很多的IP都在一个省份的附近，导致也会被评定为非法访问继续被封，所以这个地址就得是大区域的，越大越好的。

**如何判定动态IP代理优越性**

优质高匿，能够稳定运行的HTTP代理能够高效助力数据采集行为，因此，我们判定的依据就是获取稳定IP的成功率以及保障地址的随机性是我们来衡量一个动态IP代理工具优越性的重要标准。

**无限量全球代理IP**

通过多方询问，找到了一个可靠的动态代理的[网站][Link 1]

覆盖全球7200万IP，任意自由选择IP位置，告别反爬封锁，轻松采集所有公开网络数据。

热门的各国IP

![048d7bae69b6423189ae519a96ed7e7e.png][]

**优势分析**

**全球代理IP网络：**市面上受欢迎的代理网络平台，超7200万IP覆盖195个国家。

**可扩展性佳：**来自世界各国和城市，无限量、个性化设置。很多平台都是覆盖面积小，有数量限制的问题，这里都解决了。

**稳定的IP代理网络：**大量技术人员的精心维护，多项专利支持的网络构架极为稳定。

**性能好的地域代理：**所有IP供应商中，亮数据成功率高达:99.9%。

以上两点，在具体测试中可以看到，成功获取可使用的IP成功率超高，其它平台在获取的时候经常会出现IP已经关停，还得等十多秒之后才能再次获取，有的时候我们正在赶时间呢，中间出现好多次异常获取，这是很不舒服的，使用这个基本就解决这个问题了。

**代理IP速度快：**遍布全球的2600个超级代理服务器，构建极为高速稳定的代理网络。如果用在K线分析处理上，每个点位都不能有丢失，高速稳定很重要。

**下一代专利技术：**一直是代理行业的领头羊，从不停止技术更新。

**引领代理领域创新：**自主免费代理管理器，加快项目进度。

**GDPR和CCPA完全合规：**亮数据的隐私保护措施完全符合数据保护法的相关规定。

**四大代理IP**![138af81af93641cfb4ad083f5ae952ff.png][]

**动态住宅**

来自全球的原生动态住宅IP，真人用户，永不被屏蔽，轻易爬取公开网站商业数据。

有七千二百万的总量，覆盖195个国家，99.99%的正常稳定运行率，很靠谱。

**静态住宅**

覆盖广，稳定且高速的静态住宅IP代理网络。

住宅这里有超过七十万个IP，覆盖49个国家，可以独享静态IP或者终身制拥有。

**机房代理**

覆盖全球重要国家，适合反爬取技术不高的网站大批量数据爬取。

机房七十七万个IP，覆盖98个国家，三千多个子网，绝对高速稳定。

**移动代理**

大且快的3G/4G移动代理网络，手机APP验证必备。

移动代理的数量有七百万个IP，覆盖量195国家，3G/4G高速移动代理。

这么完备的功能，使得它连续三年获得认可。

![26588a5cce544480b8ca946ad7d4720b.png][]

**搜索引擎采集SERP API**

供了搜索引擎采集功能，这个功能就很强大了，不仅仅可以适合我们个人数据分析，还可以支持企业的大型数据采集，实时分析等等功能。

引擎采集功能适用于以下各大搜索引擎：谷歌Google API、必应Bing API、百度Baidu API等引擎

![5f23d672da644f57984ff6b339ac6b21.png][]

可以处理各种数据哦，地图分析，图片处理，视频内容，评论收集，工作信息收集，酒店信息处理，搜索购物等。感兴趣的可以自己体验一下：https://get.brightdata.com/javalyy

[882f2d2b9b934f948bd60125d5722403.png]: https://img-blog.csdnimg.cn/882f2d2b9b934f948bd60125d5722403.png
[Link 1]: https://get.brightdata.com/locations534
[048d7bae69b6423189ae519a96ed7e7e.png]: https://img-blog.csdnimg.cn/048d7bae69b6423189ae519a96ed7e7e.png
[138af81af93641cfb4ad083f5ae952ff.png]: https://img-blog.csdnimg.cn/138af81af93641cfb4ad083f5ae952ff.png
[26588a5cce544480b8ca946ad7d4720b.png]: https://img-blog.csdnimg.cn/26588a5cce544480b8ca946ad7d4720b.png
[5f23d672da644f57984ff6b339ac6b21.png]: https://img-blog.csdnimg.cn/5f23d672da644f57984ff6b339ac6b21.png