炼数成金数据分析课程---7、数据分析简介

秒速五厘米 2021-11-05 01:46 252阅读 0赞

# 炼数成金数据分析课程---7、数据分析简介 #

## 一、总结 ##

### 一句话总结： ###

##### 我终于知道他们是要做一些什么样的工作了 #####

### 1、我们导入了数据，是否可以立即进行数据分析？ ###

##### 需要对数据做预处理：比如去除脏数据这些 #####

### 2、数据整理和预处理操作一般有哪些？ ###

##### 1、数据清洗 #####

##### 2、合并数据集 #####

##### 3、数据转换 #####

##### 4、重塑和轴向旋转 #####

-数据清洗
    -合并数据集
    -数据转换
    -重塑和轴向旋转
    -字符串操作
    -示例

### 3、数据清洗主要做哪些操作？ ###

##### 缺失值处理：比如删除记录、数据插补、不处理等方法 #####

##### 异常值处理：可以剔除，或者修改为正常值，或者影响小的话不处理 #####

-删除记录
    -数据插补——拉格朗日插值法、生顿插值法
    -不处理

### 4、数据插补常用的方法有哪些？ ###

##### 均值/中位数/众数插补    根据属性值的类型，用该属性取值的平均数/中位数/众数进行插补 #####

##### 使用固定值     将缺失的属性值用一个常量替换。如广州一个工厂普通外来务工人员的“基本工资”属性的空缺值可以用2015年广州市普通外来务工人员工资标准1895元/月，该方法就是使用固定值 #####

##### 最近临插补    在记录中找到与缺失样本最接近的样本的该属性值插补对带有缺失值的变量，根据已有数据和与其有关的其他变量（因变量）的数据建立 #####

##### 回归方法   拟合模型来预测缺失的属性值 #####

均值/中位数/众数插补    根据属性值的类型，用该属性取值的平均数/中位数/众数进行插补
    使用固定值     将缺失的属性值用一个常量替换。如广州一个工厂普通外来务工人员的“基本工资”属性的空缺值可以用2015年广州市普通外来务工人员工资标准1895元/月，该方法就是使用固定值
    最近临插补    在记录中找到与缺失样本最接近的样本的该属性值插补对带有缺失值的变量，根据已有数据和与其有关的其他变量（因变量）的数据建立
    回归方法   拟合模型来预测缺失的属性值
    插值法   插值法是利用已知点建立合适的插值函数f（x）未知值由对应点x求出的函数值f(xi)近似代替

### 5、拉格朗日插值法的原理是什么？ ###

##### 多项式插值：构建多项式，使所有的点落在上面，然后缺失的值就在曲线上面找即可 #####

### 6、牛顿插值法（有些python库不提供，因为和拉格朗日插值法的原理一样）的原理是什么？ ###

##### 也是多项式插值：原理和拉格朗日插值法一样，都是构造函数，然后在函数上面找点 #####

##### 更好的集成性，和易于变动节点：比拉格朗日插值法有更好的集成性，和易于变动节点的特点 #####

### 7、拉格朗日插值法的实例？ ###

##### 餐厅月销量数据补全：一个餐厅的月销量数据，缺少了14号的，我们想要把14号的数据补全，直接用python调用函数填数据即可 #####

##### 使用特别简单：直接用python调用函数即可 #####

### 8、如果我们有缺失值，但是我们不想处理，对我们后面的模型有什么要求？ ###

##### 需要缺失值不影响到后面模型的建模 #####

### 9、数据清洗中异常值我们怎么处理？ ###

##### 可以剔除，或者修改为正常值，或者影响小的话不处理 #####

### 10、数据清洗中的异常值对应机器学习中的那一部分内容？ ###

##### 噪点：就是为什么过度拟合不是太好的原因 #####

### 11、数据分析中的数据集的合并我们怎么做？ ###

##### 用python的pandas库：还有左连接，右连接，内连接这些数据库操作 #####

##### \-Merge方法：根据一个或多个键将不同dataframe中的行合并 #####

##### \-Concat方法：沿一条轴将对多个对象堆叠起来 #####

## 二、内容在总结中 ##

### 1、相关知识 ###

### 2、代码 ###

转载于:https://www.cnblogs.com/Renyi-Fan/p/10989438.html

发表评论取消回复

表情：

评论列表（有 0 条评论，252人围观）

还没有评论，来说两句吧...

相关阅读

相关数据分析——特征工程简介

特征工程(Feature Engineering)对特征进行进一步分析，并对数据进行处理。常见的特征工程包括：异常值处理、缺失值处理、数据分桶、特征处理、特征构造、特征筛选及降

短命女/ 2023年07月22日 14:30/ 0 赞/ 48 阅读

相关数据分析疫情图——day7

数据分析疫情图——day7 一. 异常二 . 集合API 三. Map接口四.简单爬取页面数据前言

素颜马尾好姑娘i/ 2023年01月08日 09:27/ 0 赞/ 133 阅读

相关 tcpdump网络数据采集分析工具简介

tcpdump将网络中数据包截获下来提供分析。支持通讯协议、主机名、网络地址或端口过滤，并提供and、or、not等逻辑语句.在排查故障时，除了凭借经验外，使用包分析软件往往会

谁借莪１个温暖的怀抱￠/ 2023年01月03日 01:49/ 0 赞/ 163 阅读

相关【Python-数据分析-numpy】numpy基本简介&数据类型

【Python-数据分析-numpy】numpy&数据类型 numpy基本简介创建数组生成2行2列随机生

小咪咪/ 2022年08月28日 04:53/ 0 赞/ 255 阅读

相关问卷网&金数据可行性分析

问卷网&金数据可行性分析 1. 功能性 <table style="border-collapse:collapse; width:325.0000pt;mso

亦凉/ 2022年08月21日 10:37/ 0 赞/ 180 阅读

相关推荐系统【炼数成金】未完

推荐系统所涉及到的知识：电子商务业务知识网站架构和运营机器学习算法，数学建模大数据计算平台推荐系统核心困难：符合业务场景的高精度推荐算法大

红太狼/ 2022年07月26日 11:18/ 0 赞/ 113 阅读

相关数据分析之数据质量分析

数据分析的前提就是数据的质量，一个好的数据质量才是数据分析可靠性的必要保障。今天就来讨论一下数据质量的分析：数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是

朱雀/ 2022年04月16日 07:07/ 0 赞/ 562 阅读

相关金仓Kingbase数据库网页数据维护分析工具

金仓Kingbase是优秀的国产数据库产品，在能源，政务，国防等领域广泛使用，现在TreeSoft数据库管理系统已支持Kingbase了，直接在浏览器中就

本是古典何须时尚/ 2021年11月10日 23:42/ 0 赞/ 427 阅读

相关炼数成金数据分析课程---17、机器学习聚类算法（后面要重点看）

炼数成金数据分析课程---17、机器学习聚类算法（后面要重点看）一、总结一句话总结：大纲+实例快速学习法主要讲解常用聚类算法（比如K-mean

朴灿烈づ我的快乐病毒、/ 2021年11月05日 01:46/ 0 赞/ 160 阅读

相关炼数成金数据分析课程---7、数据分析简介

炼数成金数据分析课程---7、数据分析简介一、总结一句话总结：我终于知道他们是要做一些什么样的工作了 1、我们导入了数据，是否可以立即进行

秒速五厘米/ 2021年11月05日 01:46/ 0 赞/ 253 阅读