【Python爬虫】设置爬虫间隔模拟用户行为

古城微笑少年丶 2022-04-15 06:55 782阅读 0赞

# 设置方法 #

很多网站的反爬虫机制都设置了访问间隔时间，一个IP如果短时间内超过了指定的次数就会进入“冷却CD”，所以除了轮换IP和user\_agent  
可以设置访问的时间间间隔长一点，比如没抓取一个页面休眠一个随机时间：

import time
    import random
    time.sleep(random.random()*3)

对于一个crawler来说，这是一个比较可靠的做法。 因为本来爬虫就可能会给对方网站造成访问的负载压力，所以这种防范既可以从一定程度上防止被封，还可以降低对方的访问压力。有些网址不是封IP，是直接把mac地址给干掉了，再也无法访问其数据了。保险起见，设置睡眠时间。[参考文章][Link 1]中的代码直接粘贴有一点点问题，已在上面做了更改。

# 知识补充 #

其中random() 方法返回随机生成的一个实数，它在\[0,1)范围内。

#!/usr/bin/python
    import random
    # 生成第一个随机数
    print "random() : ", random.random()
    
    # 生成第二个随机数
    print "random() : ", random.random()
    
    #输出结果
    random() :  0.281954791393
    random() :  0.309090465205

其中Python time sleep() 函数推迟调用线程的运行，可通过参数secs指秒数，表示进程挂起的时间。

#!/usr/bin/python
    import time
     
    print "Start : %s" % time.ctime()
    time.sleep( 5 )
    print "End : %s" % time.ctime()
    
    #输出结果为：
    Start : Tue Feb 17 10:19:18 2013
    End : Tue Feb 17 10:19:23 2013

参数t的单位是秒。

[Link 1]: https://blog.csdn.net/weixin_40096730/article/details/81330747

发表评论取消回复

表情：

评论列表（有 0 条评论，782人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫实战：模拟登录网站

在Python中，我们可以使用requests和BeautifulSoup库来实现网页的模拟登录。以下是一个基本的步骤和代码示例： 1. **导入所需库**： ```pyth

迷南。/ 2024年12月26日 05:00/ 0 赞/ 24 阅读

相关模拟登录豆瓣（python爬虫）

模拟登录豆瓣使用selenium和time两个库，不考虑需要验证码的情况。步骤如下： 1.首先进入豆瓣首页 ![在这里插入图片描述][watermark_

短命女/ 2023年10月05日 14:07/ 0 赞/ 91 阅读

相关 python爬虫cookie模拟登录

cookie模拟登录适用网站及场景抓取需要登录才能访问的页面方法一 1、先登录成功1次,获取到携带登陆信息的Cookie

谁借莪１个温暖的怀抱￠/ 2023年06月22日 08:30/ 0 赞/ 6 阅读

相关爬虫入门之模拟用户请求

接着上一篇文章 [Python爬虫入门之初遇lxml库][Python_lxml]，我们说一下如何模拟用户请求，因为大多数网站都是有防爬虫措施的学习爬虫要了解web知识，我

忘是亡心i/ 2022年12月29日 09:07/ 0 赞/ 185 阅读

相关 Jsoup 爬虫模拟CSDN用户登录

需要模拟登录的页面核心源码： ![Center][] 代码： package com.test; import java.io.Bu

刺骨的言语ヽ痛彻心扉/ 2022年06月12日 12:29/ 0 赞/ 302 阅读

相关 python 爬虫之模拟登陆

import requests def run(): url = "http://jira.1handcar.com:14001/se

梦里梦外;/ 2022年05月13日 15:48/ 0 赞/ 338 阅读

相关【Python爬虫】设置爬虫间隔模拟用户行为

设置方法很多网站的反爬虫机制都设置了访问间隔时间，一个IP如果短时间内超过了指定的次数就会进入“冷却CD”，所以除了轮换IP和user\_agent 可以设置访问的

古城微笑少年丶/ 2022年04月15日 06:55/ 0 赞/ 783 阅读

相关 Python爬虫(七)--Scrapy模拟登录

1. Cookie原理 HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性，包括： Co

喜欢ヅ旅行/ 2022年04月12日 05:57/ 0 赞/ 366 阅读

相关 Python 爬虫模拟登录方法汇总

摘要：在进行爬虫时，除了常见的不用登录就能爬取的网站，还有一类需要先登录的网站。比如豆瓣、知乎，以及上一篇文章中的桔子网。这一类网站又可以分为：只需输入帐号密码、除了帐号密码

た入场券/ 2022年01月19日 02:55/ 0 赞/ 654 阅读

相关 python爬虫 scrapy爬虫实现间隔时间后再次重新执行爬虫 scrapy爬虫实现间隔时间段后再次执行...

实现思想用python 定时执行命令调用爬虫参考 python实现scrapy定时执行爬虫 https://blog.csdn.net/vivian\_ll/artic

刺骨的言语ヽ痛彻心扉/ 2021年11月13日 15:44/ 0 赞/ 489 阅读