【爬虫高阶】制作百度纯净版搜索引擎

客官°小女子只卖身不卖艺 2023-05-21 10:26 4阅读 0赞

### 制作百度纯净版搜索引擎 ###

*  1. 网页爬虫初探
 *  2. 页面分析
 *  3. 信息爬取

# 1. 网页爬虫初探 #

常用的一套模板

import requests
    from bs4 import BeautifulSoup
    
    headers = { 'cookie':'BIDUPSID=82508FD9E8C7F366210EB75A638DF308; PSTM=1567074841',
    			'User-Agent': 'Mozilla/5.0 '}
    #注意使用自己的cookie和header
    
    def get_html(url):
    	html = requests.get(url,headers=headers)
    	if html.status_code == 200:
    		html.encoding = 'utf-8'
    		print(html.text)
    	else:
    		print('ERROR',url)
    
    if __name__ == '__main__':
    	url = 'http://www.baidu.com/s?wd=python'
    	get_html(url)

→ 输出的结果为：（可以返回正常的结果）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70]

# 2. 页面分析 #

由于之后要创建ip代理池，这里搜索的关键词不妨以“代理ip”进行搜索，检查标签后可以发现前五个标签均为广告把标签，而且都是id=xxx开始的，而真正返回的信息是在以包含result的标签中，其中result-op是百度自家的信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70 1]

# 3. 信息爬取 #

代码如下，这里只进行了第一页搜索结果的爬取

import requests
    from urllib import parse
    from bs4 import BeautifulSoup
    
    headers = { 'cookie':'BIDUPSID=82508FD9E8C7F366210EB75A638DF308; PSTM=1567074841',
    			'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
    #输入自己的cookie和header
    
    def crawl(url):
    	html = requests.get(url,headers=headers)
    	if html.status_code == 200:
    		parse_html(html.text)
    	else:
    		print('error')
    
    def parse_html(text):
    	# print(text)
    	soup = BeautifulSoup(text,'lxml')
    	results = soup.find_all('div',class_='result c-container')
    	result_baidus = soup.find_all('div',class_='result-op c-container xpath-log')
    	# print(results)
    	try:
    		for result in results:
    			title = result.find('h3').a.text
    			href = result.find('h3').a['href']
    			content = result.find('div',class_ = 'c-abstract').text
    			print(title,href)
    			print(content)
    
    		for baidu in result_baidus: #百度的标签对应的结果需要单独提取
    			title = baidu.find('h3').a.text
    			href = baidu.find('h3').a['href']
    			content = baidu .find('div',class_ = 'c-abstract').text
    			print(title,href)
    			print(content)
    	except:
    		pass
    #加上防错机制
    
    if __name__ == '__main__':
    	#keyword = parse.quote(input('请输入搜索关键词：')) 这里可以保留一个接口，可以方便时直接调用
    	keyword = parse.quote('网易')
    	print(keyword)
    	url = 'https://www.baidu.com/s?wd={}'.format(keyword)
    	crawl(url)

→ 输出的结果为：（这样输出的结果也就没有广告了，这一部分就暂时到这了，后面还要配合着搭建IP代理池或者进行tkiner的页面可视化）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70]: /images/20230521/11181e816d8f46afa52b43ee523f9519.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70 1]: /images/20230521/9ffbef1c725b45fa96678283cd8febe4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70 2]: /images/20230521/d074522b5563477fbb0d18438e562d38.png