Python的charts和Jupyter的使用使数据可视化对58同城的爬取

刺骨的言语ヽ痛彻心扉 2022-07-12 01:21 265阅读 0赞

尝试学习了将爬取的数据进行清洗，更新数据库后。进行可视化。记录一部分

## 主要是对两个库的使用 ##

使用pip进行安装

jupyter安装后再cmd下输入 `jupyter notebook`

成功的话会跳转到浏览器：  
![这里写图片描述][SouthEast]

![这里写图片描述][SouthEast 1]

确实好用方便

在jupyter中编写

![这里写图片描述][SouthEast 2]

有个库是string中的。是标点符号的库。  
punctuation  
if not in punctuation

## 可以做数据的清洗过滤。如果不是标点符号 ##

清洗数据后，更新  
update方法  
db.collection.update()  
接收两个参数  
1. 更新哪个文件  
2. 怎么改。

如下图：

![这里写图片描述][SouthEast 3]

其他操作符  
![这里写图片描述][SouthEast 4]

清洗后  
可视化

Charts

例子：

import charts
    #数据
    series =[
        {
        'name':'OS X',
        'data':[11],
        'type':'column'
        },
        {
       'name':'Ubuntu',
         'data':[8],
        'type':'column'
        },
        {
       'name':'Windows',
         'data':[12],
         'type':'column'
        },
        {
       'name':'Other',
         'data':[29],
         'type':'column'
        }
    ]
    
    #使用charts绘画
    
    
    charts.plot(series,show='inline',options=dict(title=dict(text='Charts test')))

## 运行后：好方便！ ##

![这里写图片描述][SouthEast 5]

## 我也百度看的别人的博客 ##

[http://www.cnblogs.com/pangduzi/p/5889896.html][http_www.cnblogs.com_pangduzi_p_5889896.html]

这个就写的很详细。我也记录下，方便以后使用。

我也爬取了一会58二手数据。。。但是没让电脑跑那么久。  
看到这位大佬也爬取了  
[http://www.cnblogs.com/pangduzi/p/5889952.html][http_www.cnblogs.com_pangduzi_p_5889952.html]

学习了。

对这几天学习的爬取做下总结：  
更加熟练的使用BeautifulSoup了。结合谷歌浏览器的复制来获取其分析路径。  
然后用其的select方法来获取。

还有对其网页进行分析。  
使用多进程快些。多核的话多进程比多线程更快些。

## 记录下当时的笔记： ##

## 对58同城的二手市场爬取 ##

先进入二手市场首页，然后获取所有二手分类

![这里写图片描述][SouthEast 6]

分析就是  
![这里写图片描述][SouthEast 7]

Ul下的li下的b的a

ul.ym-submnu > li > b > a

但是返回的只是后面的，并不是完整的url，那么拼接

# -*- coding: UTF-8 -*-
    import requests
    from bs4 import BeautifulSoup
    #二手首页，然后获取每个二手分类的url
    start_url = 'http://cd.58.com/sale.shtml'
    
    def get_channel_urls(url):
        wb_data = requests.get(start_url)
        soup = BeautifulSoup(wb_data.content)
        links = soup.select('ul.ym-submnu > li > b > a')
        for link in links:
            page_url = 'http://cd.58.com/'+link.get('href')
            print(page_url)
    get_channel_urls(start_url)

![这里写图片描述][SouthEast 8]

然后获取每个分类也后的每个商品的url，并存入mongoDB

![这里写图片描述][SouthEast 9]

# -*- coding: UTF-8 -*-
    import requests
    from bs4 import BeautifulSoup
    import time
    import pymongo
    
    #将爬取的url放入数据库，先建立数据库
    
    client = pymongo.MongoClient('localhost',27017)
    ceshi = client['ceshi']
    url_list = ceshi['url_list']
    
    #第一个爬虫，抓起列表中的url
    #每一个二手分类频道里的每个商品获取其url
    def get_links_from(channel,pages,who_sells=0):
        #http://cd.58.com/diannao/pn2
        #页面变的就是pn ，who_sells是分类个人还是商家 默认0也就是个人
        list_view = '{}{}/pn{}'.format(channel,str(who_sells),str(pages))
        wb_data = requests.get(list_view)
        time.sleep(1)
        soup = BeautifulSoup(wb_data.content)
        for link in soup.select('td.t a.t'):
            item_link =link.get('href').split('?')[0]
            url_list.insert({
       'url':item_link})
            print(item_link)
    
    get_links_from('http://cd.58.com//danche/',2)

![这里写图片描述][SouthEast 10]

## 但是输入过大的页面有可能就没有了 ##

那么做个判断。  
比较有与没有的差别  
在于是否有商品，用的是td

就在for前面加个判断

if soup.find('td','t'):
        for link in soup.select('td.t a.t'):
            item_link =link.get('href').split('?')[0]
            url_list.insert({
       'url':item_link})
            print(item_link)
    else:
        pass

然后第二个爬取，爬取每个商品的详细信息

## 有可能之前爬取的url突然删除了或者已经交易出去了。 ##

返回的是404页面。那么做个判断  
404在 script标签中有404就是灰跳转到404

#爬取商品的详细信息
    def get_item_info(url):
        wb_data = requests.get(url)
        soup = BeautifulSoup(wb_data.content)
        #有可能之前爬取的url突然删除了或者已经交易出去了。
        no_longer_exist = '404' in soup.find('script',type="text/javascript").get('src').split('/')
        if no_longer_exist:
            pass
        else:
            title = soup.title.text
            price = soup.select('span.price.c_f50')[0].text
            date = soup.select('.time')[0].text
            #有的有可能会没有所有在后面做了个if else的判断
            ##content > div.person_add_top.no_ident_top > div.per_ad_left > div.col_sub.sumary > ul > li:nth-child(3) > div.su_con > span
            area = list(soup.select('#content > div.person_add_top.no_ident_top > div.per_ad_left > div.col_sub.sumary > ul > li:nth-of-type(3) > div.su_con > span > a:nth-of-type(1)')[0].text) if soup.find('span','c_25d') else None
            item_info.insert({
       'title':title,'price':price,'date':date,'area':area})
            print(area)
    
    get_item_info('http://cd.58.com/diannao/23276725917860x.shtml')

![这里写图片描述][SouthEast 11]

## 设置代理的话 ##

先有代理ip和端口  
然后proxies=\{‘http’:那个代理\}  
Request.get(url,headers=headers,proxies=proxies)

对于类似二手交易网站的爬取。  
先爬取频道，分析其url。  
先进入一个频道，然后分析其商品和需要的数据。使用beautifulsoup来解析，使用谷歌的复制方便些，也可以自己分析其结构。  
然后可以进入这个商品的详细信息分析。  
使用MongoDB实在是有够方便。。。。

一个爬虫：爬取所有频道url  
一个爬取把放入的频道url进行商品的爬取。  
还可以写个每个商品的详细信息爬取。  
使用多进程要快与多进程5-7倍。单核的电脑不要使用多进程。  
可以写个监视py 也就是简单来说每隔一定时间查询数据库中的数据量。

就是多写，多分析。多使用一些python方便的库~

[SouthEast]: /images/20220711/80ea7ae12d39423e9e5512ce5b6dd681.png
[SouthEast 1]: /images/20220711/f4e9edbac357449cbbd2ac01a33027d3.png
[SouthEast 2]: /images/20220711/e7d3606a27a44ee3ab496674368cac67.png
[SouthEast 3]: /images/20220711/6a1a6f30c229407da1fb649e9f04807b.png
[SouthEast 4]: /images/20220711/11fbaa6d96034eafa2e1840b970729c7.png
[SouthEast 5]: /images/20220711/f267ec19d23141d4bf4722ef8787814b.png
[http_www.cnblogs.com_pangduzi_p_5889896.html]: http://www.cnblogs.com/pangduzi/p/5889896.html
[http_www.cnblogs.com_pangduzi_p_5889952.html]: http://www.cnblogs.com/pangduzi/p/5889952.html
[SouthEast 6]: /images/20220711/15a662e39c5f44cca46c2807ea9a7a2c.png
[SouthEast 7]: /images/20220711/8567a362f93a41ffb983b0135476412d.png
[SouthEast 8]: /images/20220711/55ad17015ddc4dac98ce7ea36d32c784.png
[SouthEast 9]: /images/20220711/4ddcd2900f4d41b58a808d81cebe0004.png
[SouthEast 10]: /images/20220711/8d09380eb05046f1928a993310c4bf11.png
[SouthEast 11]: /images/20220711/6dee6d59c6364627948291e554087079.png