数据挖掘简单介绍

我会带着你远行 2022-05-20 03:22 232阅读 0赞

## 一. 数据挖掘的过程主要有： ##

1.定义目标

2.获取数据（常用手段：爬虫获取、下载统计网站发布的数据）

3.数据探索：目的是及早发现数据的一些简单规律或特征。数据探索核心是：

（1）数据质量分析（跟数据清洗密切联系）

（2）数据特征分析（分布、对比、周期性、相关性、常见统计量等）

4.数据预处理（数据清洗【去除脏数据】、数据集成【集中】、数据变换【规范化】、数据规约【精简】）

数据清洗的目的是留下可靠数据，与数据探索没有严格先后顺序，经常在一个阶段进行。 数据清洗可以按如下步骤进行：

（1）缺失值处理（通过describe【所有有值的】与len【包含没有值的】直接发现、通过0数据发现【有些数据不能为0】）

（2）异常值处理（通过散点图发现）

一般遇到缺失值，处理方式为：删除、插补、不处理；

插补的方式主要有：均值插补、中位数插补、众数插补、固定值插补、最近数据插补、回归插补、拉格朗日插值、牛顿插值、分段插值等；

遇到异常值，一般处理方式为视为缺失值、删除、修补（平均数、中位数等）、不处理；

4.1 异常分析、分布分析

import matplotlib.pylab as pyl
    import numpy as npy  #数据
    import pandas as pda
    import pymysql
    
    conn=pymysql.connect(host="127.0.0.1",user="root",passwd="root",db="csdn")
    data=pda.read_sql(sql,conn)
    print(data.describe())  #括号不能省
    print(len(data))  #发现缺失值  先把价格为0的数据置为空，再把空值处置为中值
    #数据清洗
    #发现缺失值
    
    data["price"][data["price"]==0]=None
    for i in data.columns:
        for j in range(len(data)):
            if(data[i].isnull())[j]:  #若为0  插补法
                data[i][j]="36"
                x+=1
    print(x)  #处理的数据为0的数据个数
    
    #异常值处理  循环中设置一个阈值，大于阈值则认为是异常值
    #画散点图（横轴为价格，纵轴为评论数）
    data2=data.T
    price=data2.values[2] #得到价格  从0开始数的
    comt=data2.values[3]  #得到评论数
    pyl.plot(price,comt,"o")
    pyl.show()
    
    #评论数异常>20万，价格异常>2300
    line=len(data.values)  #行
    col=len(data.values[0])  #列
    da=data.values
    for i in range(0,line):
        for j in range(0,col):
            if(da[i][2]>2300):
                print(da[i][j])  #输出异常情况
                da[i][j]=36      #处理价格异常
            if(da[i][3]>200000):
                print(da[i][j])  #输出异常情况
                da[i][j]=58
    da2=da.T     #挑出异常值后重新绘图
    price=da2[2]
    comt=da2[3]
    pyl.plot(price,comt,"o")
    pyl.show()
    
    
    #分布分析
    #极差：最大值-最小值
    #组距：极差/组数  （组数可取12）
    pricemax = da2[2].max()
    pricemin = da2[2].min()
    commentmax=da2[3].max()
    commentmin=da2[3].min()
    
    pricerg=pricemax-pricemin
    commentrg=commentmax-commentmin
    
    pricedst=price/12
    commentdst=commentrg/12
    
    #画价格的直方图
    pricesty=npy.arange(pricemin,pricemax ,pricedst)
    pyl.hist(da2[2],pricesty)
    pyl.show()
    
    #画评论的直方图
    commentsty=npy.arange(commentmin,commentmax,commentdst)
    pyl.hist(da2[3],commentsty)
    pyl.show()

4.2 数据集成

数据集成一般是把不同来源的数据放在一起。但是来自多个地方的数据一定要做好实体识别与冗余属性识别，避免数据整合错误及数据重复。

一般来说，数据集成的过程如下：

（1）观察数据源，发现其中关系，详细查看是否有同名不同意，同意不同名的情况；（price与goodprice）

（2）进行数据读取与整合；

（3）去除重复数据。

import matplotlib.pylab as pyl
    import numpy as npy  #数据
    import pandas as pda
    import pymysql
     
    a=numpy.array([[1,6,9],[23,5,6]])
    b=numpy.array([[3,6,9],[24,56,7]])
    c=numpy.concatenate((a,b))  #将a与b整合  集成函数
    print(c)

4.3 数据变换

简单变换：

（1）数据变换的目的是将数据转化为更方便分析的数据；

（2）简单变换通常使用函数变换的方式进行，常见的函数变换包括：开方、平方、对数等。

数据规范化：

（1）离差标准化（最小最大标准化）：消除量纲（单位）影响以及变异大小因素的影响；x1=（x-min）/（max-min）

（2）标准差标准化（零-均值标准化）：消除单位影响以及变量自身变异影响；x1=（x-平均数）/标准差

（3）小数定标规范化：消除单位影响。x1=x/10\*\*（k）   k=log10（k由x的绝对值的最大值决定）

离散化：将连续数据离散化、将离散数据间隔变大

（1）等宽离散化

（2）等频率离散化：将相同频数的记录放进每一个区间

（3）一维聚类离散化

属性构造：可根据原来的属性得到一些新的属性

import matplotlib.pylab as pyl
    import numpy as npy  #数据
    import pandas as pda
    import pymysql  #从数据库中读取数据所用的模块
    
    conn=pymysql.connect(host="127.0.0.1",user="root",passwd="root",db="csdn")
    sql="select * from myhexun"
    data=pda.read_sql(sql,conn)
    print(data.describe())
    
    #离差标准化
    data2=(data-data.min())/(data.max()-data.min())  
    print(data2)
    
    #标准差标准化  平均数是0，标准差是1
    data3=(data-data.mean())/data.std()
    print(data3)
    
    #小数定标规范化
    k=npy.ceil(npy.log10(data.abs().max()))  #numpy下的进1取整
    data4=data/10**(k)  
    print(data4)
    
    #离散化
    data5=data[u"price"].copy()
    data6=data5.T
    data7=data6.values
    k=3  #划分为三段
    #等宽离散化函数cut cut(数据，划分的区间（若第二个参数为正整数，则表示划分的段数），标签（每一份代表的什么）)
    #abc=[20,50,80,120]
    #pda.cut(abc,20,labels=["便宜","适中","有点贵","天价"])
    #pda.cut(abc,[20,60,90,150]) #非等宽，也可以加上标签
    
    c1=pda.cut(data7,k,labels=["便宜","适中","贵"])  #等宽
    print(c1)
    
    c2=pda.cut(data7,[0,50,100,300,500,2000,5000],labels=["非常便宜","便宜","适中","有点贵","很贵","非常贵"]) #非等宽
    
    
    #构造新属性，写进文档
    ch=data[u"comment"]/data["hits"]  #评论数除以点击率
    data[u"评点比"]=ch
    file="./hexun.xls"
    data.to_excel(file,index=False)  #to_excel：写进一个excel文件中 第二个参数表示索引

4.4 数据规约（精简）：属性规约（主成分分析：主要是PCA）+数值规约（类似离散化）

主成分分析：[https://blog.csdn.net/google19890102/article/details/27969459][https_blog.csdn.net_google19890102_article_details_27969459]

要用到主成分分析法，首先要安装sklearn这个模块（pip3 install sklearn  PCA安装后的目录：python\\lib\\site-packages\\sklearn\\decomposition\\pca.py）

import matplotlib.pylab as pyl
    import numpy as npy  #数据
    import pandas as pda
    import pymysql  #从数据库中读取数据所用的模块
    from sklearn.decomposition import PCA
    
    conn=pymysql.connect(host="127.0.0.1",user="root",passwd="root",db="csdn")
    sql="select hits,comment from myhexun"  #确定导出的是哪部分数据
    data=pda.read_sql(sql,conn)
    print(data.describe())
    
    #构造新属性，写进文档
    ch=data[u"comment"]/data["hits"]  #评论数除以点击率
    data[u"评点比"]=ch
    #file="./hexun.xls"
    #data.to_excel(file,index=False)  #to_excel：写进一个excel文件中 第二个参数表示索引
    
    #主成分分析
    pca1=PCA()  #创建对象
    pca1.fit(data9)  #用fit函数处理加载的数据
    charater=pca1.components_  #返回模型的特征向量
    #print(charater)
    #各个成分中各自方差的百分比，贡献率
    #自动提示导入参考：https://blog.csdn.net/xjfirefox/article/details/51741661
    rate=pca1.explained_variance_ratio_
    #print(rate)
    
    #降维
    pca2=PCA(2)   #参数为希望的维数
    pca2.fit(data9)
    dim_redu=pca2.transform(data9)  #降维
    #print(dim_redu)
    recovery=pca2.inverse_transform(dim_redu)  #恢复
    #print(recovery)

5.挖掘建模（分类、聚类、关联、预测）

6.模型评价与发布

## 二. 相关模块简介： ##

1.numpy 可以高效处理数据，提供数组支持，很多模块都依赖它，如pandas、scipy、matplotlib，是基础模块；

2.pandas 主要用于数据搜索和数据分析；

3.matplotlib 作图模块，解决可视化问题；

4.scipy 主要用于数值计算，同时支持矩阵运算，并提供了很多高等数据处理功能，比如积分、傅里叶变换、微分方法求解等；

5.statsmodels 主要用于统计分析；

6.Gensim 主要用于文本挖掘；

7.sklearn 、kears前者机器学习，后者深度学习。

## 三. 模块安装的顺序与方式建议如下： ##

1.numpy、mkl（下载安装\[先下载.whl文件，再安装\]numpy+mkl的：pip3 install +...）

2.pandas（网络安装 pip3 install +...）

3.matplotlib（网络安装）

4.scipy（下载安装）

5.statsmodels（网络安装）

6.Gensim（网络安装）

## 四.模块使用： ##

1.numpy

import numpy as np
    np.array([元素1，元素2，...，元素n])  
    np.array([ [ ],[ ],[ ],...[ ] ])
    np.dtype #类型
    a.sort() #排序
    y1 = y.max() #取最大值操作
    x1 = x[1:3]  #切片

2.pandas

#Series
    a = pda.Series([2,3,4,6])  #默认索引排序
    b = pda.Series([2,4,5,7],index = ["one","two","three","four"]) #指定索引
    c = pda.DataFrame([[5,6,2,3],[8,4,6,3],[6,4,31,5]]) #生成一个二维数据，且行和列都有默认索引
    d= pda.DataFrame([[5,6,2,3],[8,4,6,3],[6,4,31,5]],columns = ["one","two","three","four"])  #对列名指定索引
    e = pda.DataFrame({
    "one":4,
    "two":[2,5,7],
    "three":list(str(986))})#通过字典形式创建数据
    f = d.head(3) #头部数据，默认显示前3行
    g = d.tail(2)  #尾部数据，默认后2行
    h= d.discribe() #按列统计数据（个数cout、平均数mean、标准差std、最小值、每一列的分位数（1，2, 3）、最大值）
    i = d.T #转置

3.matplotlib

3.1 绘制折线图、直方图

#绘制折线图、散点图   plot绘制
    #直方图 hist绘制
    
    import matplotlib.pylab as pyl
    import numpy as npy  #数据
    x=[1,2,3,6,8] #x轴的数据
    y=[5,7,9,11,6]
    #pyl.plot(x,y) #plot(x轴数据，y轴数据，展现形式（折线图/散点图、颜色）)
    #pyl.show()  #折线图，颜色默认
    #pyl.plot(x,y,'o')  #散点图，第三个参数的颜色和形状可叠加
    #pyl.show()  #散点图
    '''
    颜色
    c--青色   r--红色   m--品红   g--绿色
    b--蓝色   y--黄色   k--黑色   w--白色
    
    线条样式
    - 直线    --虚线    -.  -.形式  ：细小虚线
    
    点的样式
    s--方形  h--六角形  H--六角形   *--星形
    +--加号  x--x形     d--菱形     D--菱形
    p--五角形
    '''
    #pyl.plot(x,y,'--y') #虚线+黄色
    #pyl.plot(x,y,'*')#散点图
    pyl.plot(x,y,"*")#散点图
    
    #添加表头及坐标标签
    
    #同一个图绘制多个线段  多次适用plot，最后一起show
    '''
    x1=[1,3,5,6,7,8,0,1]
    y1=[4,6,8,0,2,4,6,8]
    pyl.plot(x1,y1)
    pyl.title("show")  #标题
    pyl.xlabel("ages") #x轴的名称
    pyl.ylabel("hobby")   #y轴的名称
    pyl.xlim(0,20)  #x轴的范围
    pyl.ylim(3,15)  #y轴的范围
    pyl.show()
    '''
    #随机数生成
    data1=npy.random.random_integers(1,20,100)  #整数随机数（最小值，最大值，个数）
    
    #生成具有正态分布的随机数
    data2=npy.random.normal(5,2,10) #(均值，σ，个数)
    print(data2)
    
    #直方图hist  统计每一段数据出现的频数
    data3=npy.random.normal(10,1,10000) #(均值，σ，个数)
    #pyl.hist(data3)
    #pyl.show()
    
    data4=npy.random.random_integers(1,26,1000)  #随机数直方图
    #pyl.hist(data4)
    #pyl.show()
    
    #设置横坐标尺度
    sty=npy.arange(1,30,2)  #起点，终点，间距
    pyl.hist(data4,sty)
    pyl.hist(data4,sty,histtype='stepfilled') #histtype='stepfilled 取消直方图轮廓
    pyl.show()

3.2 绘制子图

import matplotlib.pylab as pyl
    import numpy as npy  #数据
    
    #子图划分
    pyl.subplot(2,2,3)  #参数：行数，列数，当前区域
    #pyl.show()
    
    #如何在子图中绘图
    pyl.subplot(2,2,1)  #4个位置中的第一个位置
    x1=[1,2,4,6,8]  #相应图片细节写在相应图
    y1=[4,6,8,9,5]
    pyl.plot(x1,y1,"o")
    
    pyl.subplot(2,2,2)
    x2=[3,6,8,5,2]
    y2=[4,5,7,9,3]
    pyl.plot(x2,y2)
    
    pyl.subplot(2,1,2)
    x3=[1,6,9,12,15,17]
    y3=[1,3,6,8,9,10]
    pyl.plot(x3,y3,"*")
    pyl.show()

绘制图片如下图所示：

![70][]

## 五.数据导入： ##

1.导入csv数据

csv是一种常见的数据存储格式，基本上我们遇到的数据都可以转为这种存储格式。在python数据分析中，可以使用pandas模块导入csv数据。

import pandas as pda
    i = pda.read_csv("文件地址/../.csv")
    i.describe()
    p = pda.sort_values(by = "21") #按列表头为21这一列进行排序

2.导入excel数据

i = pda.read_excel("文件地址/../.xls")

3.导入MySQL数据库里的数据：是一种常见的数据库

import pymysql
    conn = pymysql.connect(host = "127.0.0.1",user = "root",passwd="root",db="hexun")
    sql="select * from myhexun"
    k=pda.read_sql(sql,conn)  #select * from myhexun

4.导入html数据：使用pandas，可以直接从html网页中加载对应table表格中的数据，但是在使用read\_html()之前，需要先安装html5lib模块与beautifulsoup4模块。

m = pda.read_html("网页文件表格/本地html文件")

5.导入文本数据：有时我们希望直接导入txt文本数据。

n = pda.read_table("文件地址")

## 六.读取博客数据并可视化分析：读取csv文件 ##

import matplotlib.pylab as pyl
    import numpy as npy  #数据
    import pandas as pda
    
    data=pda.read_csv("/../")  #导入数据
    i=data.shape  #可查看多少行，多少列
    j=data.values[1][2] #可查看具体值 第几行，第几列
    k=data.T #转置
    y1=k.values[3]  #假设转置后的第三行表示阅读数
    x1=k.values[4]  #假设转置后的第四行表示评论数
    pyl.plot(x1,y1)  #这样就把导入数据与可视化结合起来
    pyl.show()
    
    x2=k.values[0]   #假设转置后的第0行表示ID
    #pyl.plot(x2,y1)  #这样就把导入数据与可视化结合起来
    #pyl.show()

[https_blog.csdn.net_google19890102_article_details_27969459]: https://blog.csdn.net/google19890102/article/details/27969459
[70]: /images/20220520/550c964bca3145fd81bf8065974067a0.png