python爬取58手机号_麻瓜编程·python实战·2-2作业：爬取58手机号

电玩女神 2023-01-09 03:40 148阅读 0赞

我的结果

![Image 1][]

链接.png

![Image 1][]

详情.png

我的代码

from bs4 import BeautifulSoup

import requests, pymongo, re, time, urllib, socket, json, random

\# 基本页面

url = 'http://bj.58.com/shoujihao/\{\}/pn\{\}/'

\# headers

headers = \{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'\}

\# 使用session

req\_session = requests.session()

\# 建立数据库

client = pymongo.MongoClient('localhost', 27017)

walden = client\['walden'\]

phone\_test = walden\['phone\_test'\]

phone\_info\_test = walden\['phone\_info\_test'\]

\# 从列表页面获取手机号和链接，并存入数据库，对应第一个结果图

def get\_phone\_url(url, page, who=1):

\# 整理地址，注意who和page的位置

search\_page = url.format(who, page)

web\_data = req\_session.get(search\_page, headers = headers)

soup = BeautifulSoup(web\_data.text, 'lxml')

\# 如果页码超出范围则pass

if soup.find('strong'):

\# 考虑到selector结构一样，为了区分广告条目，这里采用了find\_all搭配正则

tel\_numbers = soup.find\_all('li', logr=re.compile('.\*-1$'))

tel\_urls = soup.find\_all('li', logr=re.compile('.\*-1$'))

for tel\_number, tel\_url in \\

zip(tel\_numbers, tel\_urls):

tel\_number = tel\_number.get\_text().split()\[0\]

\# 嵌套find\_all

tel\_url = tel\_url.find\_all('a', 't')\[0\].get('href')

\# 写入数据库

data = \{'Url': tel\_url, 'Number': tel\_number\}

print(data)

phone\_test.insert\_one(data)

else:

pass

\# 从详情页面获取信息

def get\_phone\_info(url):

try:

web\_data = req\_session.get(url, headers=headers, timeout=6)

soup = BeautifulSoup(web\_data.text, 'lxml')

\# 以防404

four\_o\_four = '404' in soup.find('script', type='text/javascript').get('src').split('/')

if four\_o\_four:

pass

else:

title = ' '.join(soup.select('.col\_sub h1')\[0\].get\_text().split())

price = soup.select('.price')\[0\].get\_text().strip()

time = soup.select('li.time')\[0\].get\_text().strip()

\# 不是所有页面都有区域，这里用正则表达做了一个判断

if re.findall('区域', str(soup.select('.col\_sub'))):

region = soup.select('.su\_con a')\[0\].get\_text().strip()

else:

region = None

name = soup.select('a.tx')\[0\].get\_text()

contact = soup.select('span.f20')\[0\].get\_text().strip()

\# 写入数据库

phone\_info\_test.insert\_one(\{

'title': title,

'price': price,

'time': time,

'region': region,

'name': name,

'contact': contact

\})

\# 防止报错

except UnicodeDecodeError as e:

print('-----UnicodeDecodeError url:', url)

except urllib.error.URLError as e:

print("-----urlError url:", url)

except socket.timeout as e:

print("-----socket timout:", url)

\# 从里【开始】，获取10页链接写入数据库

for single\_page in range(10):

print('页数：',single\_page + 1, '\\n', '-'\*60)

time.sleep(10)

get\_phone\_url(url, single\_page)

\# 从数据库获取链接

for item in phone\_test.find():

print(item\['Url'\])

info\_page = item\['Url'\]

get\_phone\_info(info\_page)

time.sleep(1)

我的感想：

我估计我花了5个多小时，处理了挺多大大小小的坑，主要的坑点在于：广告的剔除，个别结构差异的地方(页面超出范围、404等)要做判断，以及老是报错‘Max retries exceeded with url’

对于坑点：

我觉得我用正则来剔除广告有点“霸王硬上弓”，别的同学通过筛选链接来处理挺简单明了，但需要一些细心和意识。

![Image 1][]

广告.png

![Image 1][]

正常.png

![Image 1][]

从地址来剔除广告.png

对于‘Max retries exceeded with url’呢。以我目前的经验：要么等会弄，要么调整sleep的时间，要么加proxy，要么改headers，属于一种瞎子摸象的状态。

对于结构上的差异或许需要经验来培养意识，像404的排除，页码范围的超出，老师讲出来顺理成章，但自己操作起来还是挺生疏的。

[Image 1]:

python爬取58手机号_麻瓜编程·python实战·2-2作业：爬取58手机号

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关爬虫---爬取公众号内容

相关 python批量爬取公众号文章

相关 python爬取58手机号_麻瓜编程·python实战·2-2作业：爬取58手机号

相关 Python爬取58同城租房数据，破解字体加密

相关 python爬取华为商城所有的手机参数

相关 Python爬虫-利用xpath解析爬取58二手房详细信息

相关利用python爬取58同城简历数据

相关爬取手机APP数据

相关使用Python爬取公号文章(上)

相关 python3[爬虫实战] 使用selenium，xpath爬取京东手机（下）