链家全国房价数据分析：数据分析及可视化

浅浅的花香味﹌ 2022-04-13 04:54 224阅读 0赞

[相关文章：链家全国房价数据分析 ： 数据获取][Link 1]  
上一回我们提到了用爬虫爬取链家的新楼盘和二手房数据信息，这回我们来看看如何对他们进行分析。

## 新楼盘数据分析 ##

因为我们爬的时候是一个个城市爬的，现在我们要把他们合在一起，首先呢我们需要知道一共爬了哪些城市。

url='https://gz.fang.lianjia.com/loupan/pg1/'
    html=getHTML(url)
    selector=etree.HTML(html)
    cities_name=selector.xpath('//div[@class="city-change animated"]/div[@class="fc-main clear"]//ul//li/div//a/text()')
    with open('./loupan/city_names.txt','w',encoding='utf8') as f:
        f.write(','.join(cities_name))

这段代码就是爬虫中解析所有城市的代码，不过我最后把城市名存起来了。存起来是为了以后可能要用。  
  
接下来读出城市名称，然后根据每个城市名称打开csv文件(因为当时存的时候就是以城市名来命名csv文件的),然后把他们合并到同一个dataframe里面。

df=pd.DataFrame()
    for city in city_names:
        f=open('./loupan/'+city+'.csv','r',encoding='utf8')
        try:
            df_temp=pd.read_csv(f)
        except Exception as e:
            df_temp=pd.DataFrame()
        f.close()
        df_temp['city']=city
        df=df.append(df_temp)
    df.to_csv('./loupan/national.csv',encoding='utf8',index=False)

接下来我们对数据做一个可视化分析，这次我们用的是pyecharts这个可视化框架，pyecharts这个框架太强了，美观炫酷，支持的参数也比较多！第一次使用就惊艳到我了。

### 每个城市的新房数量 ###

from pyecharts import Bar
    city_count_series=df.groupby('city')['url'].count().sort_values(ascending=False)
    city_count_x=city_count_series.index.tolist()
    city_count_y=city_count_series.values.tolist()
    city_count_bar=Bar('各城市新房数量')
    city_count_bar.add('',x_axis=city_count_x,y_axis=city_count_y,is_label_show=True,is_datazoom_show=True,x_rotate=30)
    city_count_bar

![71257023.jpg][]

房源数量最多的是成都、西安、广州、重庆和武汉、杭州，在这个图中可能看不到，因为X轴太长了没有把所有的x轴显示出来，不过它有缩放的设置，缩放了之后就可以看到了。  
![30922744.jpg][]

除了广州之外都不是超一线城市，可以看出哪些具有发展潜力。

### 各城市新楼盘的房价 ###

df_price_unit=df[df.show_price!=0 ]
    df_price_total=df[df.total_price_start!=0]
    price_avg_series=df_price_unit.groupby('city')['show_price'].mean().sort_values(ascending=False)
    total_price_series=df_price_total.groupby('city')['total_price_start'].mean().sort_values(ascending=False)
    price_avg_x=price_avg_series.index
    price_avg_y=price_avg_series.values
    total_price_x=total_price_series.index
    total_price_y=total_price_series.values
    price_avg_plot=Bar('各城市新房均价')
    price_avg_plot.add('单位面积价格（元/平米）',x_axis=price_avg_x,y_axis=price_avg_y,is_label_show=True)
    price_avg_plot.add('总价(万元/套)',x_axis=total_price_x,y_axis=total_price_y,is_label_show=True,is_datazoom_show=True,x_rotate=30)
    price_avg_plot

![24302330.jpg][]  
![86177569.jpg][]

在剔除了0的数据之后，无论是单位面积价格还是总价，北京都遥遥领先，但是前三名却不是想象中的北上广，是北京、乐东、陵水。。这就很不符合直觉。  
但是从整体上来看，还是能明显看出第一梯队和第二第三梯队的城市的。

### 新楼盘卧室数量分布 ###

import re
    bedroom=[]
    for index,row in df.iterrows():
        try:
            bed_num=re.findall('\d+',row.converged_rooms)[0]
        except:
            bed_num=-1
        bedroom.append(bed_num)
    df['bedroom']=bedroom
    bedroom_plot_x=df.bedroom.value_counts().index
    bedroom_plot_y=df.bedroom.value_counts().values
    from pyecharts import Pie
    bedroom_plot=Pie('新房卧室数量',width=900)
    bedroom_plot.add(name='卧室数量',attr=bedroom_plot_x,value=bedroom_plot_y,center=[50,60],radius=[40,80],is_random=True,rosetype='radius',is_label_show=True)
    bedroom_plot

![45271682.jpg][]  
以3房为多，然后是2房，1房，-1的是没有提取到数据的。一般作为家庭居住的话，2房和3房还是比较实用的。

### 新楼盘标签印象 ###

tags=[]
    for index,row in df.iterrows():
        tag=row.tags
        temp=tag.lstrip('[').rstrip(']').replace("'","").replace(' ','').split(',')
        if len(temp)>0:
            tags.extend(temp)
    temp=pd.DataFrame()
    temp['tag']=tags
    word_series=temp.tag.value_counts()
    word_name=word_series.index
    word_value=word_series.values
    from pyecharts import WordCloud
    word_tag_plot=WordCloud('房屋标签词云')
    word_tag_plot.add('',word_name,word_value,shape='circle',word_size_range=[20,70])
    word_tag_plot

![67321561.jpg][]

从中我们可以看出房地产商对新楼盘打的最多的标签是什么，也可以看出人们一个新房子最care的是什么。绿化率高、车位充足和品牌房企是出现最多的标签，原来那么多楼盘都用绿化做卖点的呀！其实我觉得买房子最重要的还是交通，有车的话要考虑车位是否充足，其他的都可以将就啦

### 楼盘的面积、类别和价格的关系 ###

from pyecharts import Scatter3D
    
    mapdict={ '住宅':1,'商业类':2,'底商':3,'别墅':4,'商业':5,'写字楼':6}
    def mapfunc(type):
        return mapdict[type]
    
    price=df.show_price.values.tolist()
    price=[i/1000 for i in price]
    area=df.max_frame_area.values.tolist()
    types=list(map(mapfunc,df.house_type.values))
    
    data=[]
    for i in range(len(price)):
        data.append([area[i],types[i],price[i]])
    scatter=Scatter3D('价格，面积和房屋类型的关系',width=700,height=700)
    scatter.add('',data,is_visualmap=True,grid3d_opacity=0.8,xaxis3d_max=650,yaxis3d_max=7,zaxis3d_max=120,
               xaxis3d_name='面积',yaxis3d_name='房屋类型',zaxis3d_name='单位价格',)
    scatter

我先将楼盘的类型做了一个从字符串到数字的映射，以便在图中表示。在这里有三个因素，所以我将他们用三维散点图表示。  
![26462902.jpg][]

其实我也没有看出什么规律，单价并不是随着面积的增加而增加的，而是到达一个峰值之后逐渐回落，可能面积大的已经属于商业写字楼，其单位价格没有居住用楼贵。  
![29639808.jpg][]

### 各相关因素热力图 ###

学习过机器学习的人都知道一个叫房屋价格预测的demo，就是由一些相关特征预测房屋的价格，可以采用线性回归模型，虽然不一定是用线性函数去拟合，要用到多项式拟合的。那么现在来看看各相关特征之间相关性如何

df['house_type_num']=df.house_type.apply(mapfunc)
    df_heatmap=df[['average_price','avg_price_start','avg_unit_price','city_id','district_id','house_type_num','latitude','longitude','lowest_total_price','max_frame_area','min_frame_area','total_price_start']]
    from pyecharts import HeatMap
    heatmap=HeatMap('各因素相关性热力图',width=600,height=600)
    heatmap_corr=df_heatmap.corr()
    heatmap_data=[]
    length=12
    for i in range(length):
        for j in range(length):
            heatmap_data.append([i,j,heatmap_corr.iloc[i,j]])
    heatmap.add('相关系数',heatmap_corr.columns.tolist(),heatmap_corr.columns.tolist(),heatmap_data,is_visualmap=True,visual_range=[-1,1],visual_orient='horizontal')
    heatmap

![76403245.jpg][]

可以看到，在avg\_unit\_price等几个价格指标中，大部分都是黄色以上，即趋向正相关，也说明使用线性回归是有效的。

就这么多吧。

[Link 1]: https://blog.csdn.net/neverever01/article/details/84562487
[71257023.jpg]: /images/20220413/af946c6a30c3499fb7ef910223b89cd1.png
[30922744.jpg]: /images/20220413/8f0651dfc95f4d7ab661edc4b81f619f.png
[24302330.jpg]: /images/20220413/aa2d41b3b224422181575d199d712b76.png
[86177569.jpg]: /images/20220413/edaf9a46725840d1a6c1061765e92397.png
[45271682.jpg]: /images/20220413/a34a8260782242f2a51effd4e69cafcd.png
[67321561.jpg]: /images/20220413/7dfb6f4887af48b3ab13d1a2465666e5.png
[26462902.jpg]: /images/20220413/1c7eced305bd4af28164cdd3550379dc.png
[29639808.jpg]: /images/20220413/21b108316fc74b7c9648e56a1bbe66d0.png
[76403245.jpg]: /images/20220413/b05eb737da554a02a70bd5c51fbe8ff9.png