Python、requests模块使用代理服务器实现微博访问

ゝ一纸荒年。 2022-06-10 11:11 127阅读 0赞

Python3.6.1 requests2.18.4 scrapy，beautifulsoup 开发工具sublime text 3

（此微博为博主原创，如果有想转载的同学请注明原博客链接，谢谢合作）

很多人会想，写爬虫为什么最好要用代理服务器来访问？这是因为很多网站都设置了反爬虫机制，因为大量的爬虫如果同时访问此网站，会给此网站的服务器带来很大的负担。如果同一IP在一定时间访问过于频繁的话，就有可能会被判定为爬虫，所以设置代理来访问网站。

想看网站具体有哪些限制，可以访问：网站+robots.txt，来查看此网站的robots协议。

首先声明，此微博只为演示。

![Center][]

1、先用scrapy框架，从网站上爬取IP作为使用的IP池，并存入ip\_list.txt文档中

下面只给出spider代码：

'''
    please in here defined yours spider
    define crawler rules
    
    '''
    import scrapy
    
    from agentIP.items import AgentipItem
    
    class My_ip(scrapy.Spider):
    	name="ipsc"
    	allowed_domains=["xicidaili.com"]#域名
    	start_urls =["http://www.xicidaili.com/"]
    
    
    	def parse(self,response):
    		#response是一个html响应对象可以用xpath规则进行解析
    		ipall=response.xpath('//table[@id="ip_list"]/tr')
    		item=AgentipItem()
    
    		for each_ip in ipall:
    			S_ip=each_ip.xpath('.//td')
    			list=[]
    			if len(S_ip)==0:
    				continue
    			for j in S_ip:
    				c=j.xpath('./text()').extract()
    				if len(c)==0:
    					continue
    				list.append(c[0])
    			item['ips']=list[0]
    			item['port']=list[1]
    			
    			yield item

结果如下：

![Center 1][]  
2、再将爬取下来的IP写入数据库

代码：

import pymysql
    def insert():
    	db=pymysql.connect(host='127.0.0.1',port=3306,user='root',password='******',db='******',use_unicode=True,charset='utf8')
    	
    	cursor=db.cursor()
    	print('database connect scuccess')
    	sql='insert into iplist_1(ip,port) values(%s,%s)'
    	#sql='insert into gamerank (rank,g_name,g_type,g_status,g_hot) values(1,'hssd','sds','waasdd',2)'
    	#sql='insert into gamerank (rank,g_name,g_type,g_status,g_hot) values(%d,%s,%s,%s,%d)',([1,'hssd','sds','waasdd',2])
    	for list in lists:
    		try:
    			cursor.execute(sql,list)
    			print('insert success')
    			db.commit()
    		except Exception as e:
    			print('异常抛出:',e)
    			db.rollback()
    	
    	db.close()
    #从ip_list.txt读取IP和端口号
    def read_file(file):
    	f=open(file,encoding='utf8')
    	lines=f.readlines()
    	list=[]
    	for i in lines:
    		i=i.strip()
    		a=i.split(',')
    		list.append(a)
    	f.close()
    	return list
    #创建一个表格用来存储IP和端口号
    def create():
    	db=pymysql.connect(host='127.0.0.1',port=3306,user='root',password='******',db='*****',use_unicode=True,charset='utf8')
    	cursor=db.cursor()
    	print('The database named yintao is connected scuccessful')
    
    	sql='create table IPlist_1 (ip varchar(40),port integer)'
    	try:
    		cursor.execute(sql)
    		print('create success')
    	except Exception as e:
    		print(e)
    		db.rollback()
    	finally:
    		db.close()
    # create()
    lists=read_file('F:\\Python\\scrapy\\agentIP\\ip_list.txt')
    insert()

结果如下：

![Center 2][]

3、安装fake-useragent，这是Python的一个useragent池（好用得一批）

pip install fake-useragent

使用方法为

import fake\_useragent

us=fake\_useragent.UserAgent

us.random就可以随机出现一个useragent

4、实现

import re
    
    import requests
    from bs4 import BeautifulSoup
    import pymysql
    import random
    import time
    import fake_useragent
    
    class Csdn():
    	def __init__(self,url,links=[],domains=[],headers={}):
    		self.url=url
    		self.links=links
    		self.domains=domains
    		self.headers=headers
    
    	def get_csdn(self):
    		ua=fake_useragent.UserAgent()
    		
    		self.headers={
    		'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    		"Accept-Encoding":'gzip, deflate',
    		'Accept-Language':'zh-CN,zh;q=0.8',
    		'Cache-Control':'max-age=0',
    		'Connection':'keep-alive',
    		'User-Agent':ua.random
    
    		}
    
    #get the blogs links
    
    		html=requests.get(self.url)
    		html=html.text
    
    		obsoup=BeautifulSoup(html,'html5lib')
    		all_links=obsoup.find("div",id="article_list").find_all("span",class_='link_title')
    		for i in all_links:
    			for href in i.find_all('a'):
    		
    				self.links.append('http://blog.csdn.net'+href.attrs['href'])
    		print('链接：',self.links)
    		
    	def get_domain(self):
    		#连接数据库获得ip和端口号,用于设置代理
    		db=pymysql.connect(host='127.0.0.1',port=3306,user='root',password='******',db='*****',use_unicode=True,charset='utf8')
    		cursor=db.cursor()
    		print('database connect success')
    		sql='select ip,port from iplist_1'
    		try:
    			cursor.execute(sql)
    			print('execute success')
    			result=cursor.fetchall()
    			for row in result:
    				ip=row[0]
    				port=row[1]
    				domain="http://"+str(row[0])+":"+str(row[1])  
    				self.domains.append(domain)
    			print('代理服务器:',self.domains)
    			db.commit()
    		except Exception as e:
    			print('Error occurred:',e)
    			db.rollback()
    		db.close()
    	def account_hit(self):
    		# 开始刷访问量
    
    		for _ in range(10):
    			ur=self.links[random.randint(0,len(self.links)-1)]
    			max=10
    
    			for i in range(0,max):
    				try:
    					s=random.randint(0,len(self.domains)-1)
    					#设置代理
    					proxies={ "http": self.domains[s], "https": self.domains[s],} 
    					r=requests.get(ur,headers=self.headers,proxies=proxies,timeout=3)
    					print('响应结果：',r)
    					time.sleep(1)
    				except Exception as e:
    					print(e)
    
    		print('complete')

5、运行结果：

![Center 3][]  
  
![Center 4][]

上面可以看出：响应结果为Response 200的是访问成功的。

不成功的原因是有些代理服务器，无法正常使用。

当然还有更牛逼的访问实现，那就是使用线程来实现了，比如将函数写入多个线程，那么运行速度是不是会更快呢？

代码只有自己去想了

还有的就是不得不说一下beautifulsoup的好处了，本来一开始准备用re模块就是正则表达式来找网页links，但是我发现正则出来的links，有很多的不是我们想要的，但是这个又不能排除，除非用精确匹配，那样写的代码就是大杂烩，有点失去了简洁的味道，所以我选择了beautifulsoup来找links，快速而且方便。

所以建议感兴趣的同学可以去好好理解一下beautifulsoup，这样会提高程序的编写速率。

![Center 5][]

送给大家两句话：keep learning ； Never give up easily。

希望此博客对你有所帮助。

[Center]: /images/20220610/e9b0cb11b3a444678a443f07471888c8.png
[Center 1]: /images/20220610/9b7e70c5561b4bc78b81733c5c9a317f.png
[Center 2]: /images/20220610/0f26b001ff06413ba37738e3a2ab5f4e.png
[Center 3]: /images/20220610/2de7225cbb5e4d09bfa95eca3bf5e6ff.png
[Center 4]: /images/20220610/a1b21e55d294404b9d673afcf14b48b6.png
[Center 5]: /images/20220610/30a43dd5a3b749588868e96ed28e66d1.png