matlab数据无量纲化_大数据——无量纲处理程序

比眉伴天荒 2023-01-04 11:58 186阅读 0赞

**数据无量纲化处理的实现**

针对经过预处理，去噪后的数据进行分析查看，由于系统中各参数的物理意义不同，导致系统中各参数数据的量纲和数量级也可能不相同，这样就不便于比较，也可能会在比较时难以得到正确的结论。所以为了科学的进行关联度分析，一般对数据都要做无量纲化处理。无量纲化的处理方法有初值化、最小值化、最大值化、平移化、规格化、均值化等。

**1．基本算法**

**1)初值化**

有数据序列X=\{x(k)/k=1,2,…,n\}，那么初值化为：

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

(2.1)

思想是：用数据序列 X 除于数据序列的第一个数据，从而得到一个新的数据序列。

**2)最大值化**

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

(2.2)

其思想是：用数据序列X除于数据序列的最大值

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

，从而得到一个新的数据序列。

**3)最小值化**

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

其思想是：用数据序列 X 除于数据序列的最小值

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

,从而得到一个新的数据序列。

**4)规格化**

规格化方法分两种：标准差规格化和极差规格化

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

(2.4)

上式为标准差规格化，其中

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

是数据序列X的均值，

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

表示数据序列X的标准差。

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

（2.5）

上式称为极差规格化，其中

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

和

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

分别表示数据序列X的最大值和最小值。

**5)平移化**

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

（2.6）

式中c表示一个常数，就是给原数据序列每个数据加上一个固定的常数从而得到一个新的数据序列，实现平移化。

**6)均值化**

![c0cf4849b37e94b03ccc21a0c0fd030b.png][]

(2.7)

上式中x是数据序列X的均值。其思想是：用数据序列X除于数据序列的均值x，从而得到一个新的数据序列。

**2.Python程序源码（利用Jupyter notebook）**

import pandas as pd

import numpy as np

\# 导入数据分析模块

f1 = open('./去噪/数据平均值2018.csv')

df1 = pd.read\_csv(f1) \# 打开文件，先令一个值等于文件，再利用pandas模块read\_csv()直接打开文件（注意路径）

display(df1) \# 查看文件

![da5063e7cb0ad8bf51586cafb66bad65.png][]

res\_list2 = \[\] \# 创建一个空列表（以下步骤相同）

res\_1 = df1\[df1.columns\[1\]\] \# 取出数据表的第一列（以下循环改 \[ \] 内数字即可）

for i in range(0,len(res\_1)): \# 遍历数据序列

res\_2 = res\_1\[i\]/res\_1\[0\] \# 遍历的每一个值除以第一个数据

res\_list2.append(res\_2) \# 得到的新的值，存入列表

\# 第一步，初值化，每一个数据除以第一个数据，从而得到一个新的数据序列

print(res\_list2)

\# 查看是否转换成功

res\_list3 = \[\]

for i in range(0,len(res\_list2)):

res\_3 = res\_list2\[i\]/max(res\_list2) \# 遍历的每一个值除以数据序列的最大值

res\_list3.append(res\_3)

\# 第二步，最大值化，每一个数据除以数据序列的最大值，从而得到一个新的数据序列

print(res\_list3)

\# 查看是否转换成功

res\_list4 = \[\]

for i in range(0,len(res\_list3)):

res\_4 = res\_list3\[i\]/min(res\_list3) \# 遍历的每一个值除以数据序列的最小值

res\_list4.append(res\_4)

\# 第三步，最小值化，每一个数据除以数据序列的最小值，从而得到一个新的数据序列

print(res\_list4)

\# 查看是否转换成功

res\_list5 = \[\]

for i in range(0,len(res\_list4)):

res\_5 = (res\_list4\[i\]-min(res\_list4))/(max(res\_list4)-min(res\_list4))

\# （遍历出的值 – 数据序列中最小值）/（数据序列中最大值 – 数据序列中最小值）

res\_list5.append(res\_5)

\# 第四步，规格化，（遍历出的值 – 数据序列中最小值）/（数据序列中最大值 – 数据序列中最小值），从而得到一个新的数据序列

print(res\_list5)

\# 查看是否转换成功

res\_list6 = \[\]

c = 0.3 \# 一个常数，视情况设置为多少

for i in range(0,len(res\_list5)):

res\_6 = res\_list5\[i\] + c \# 遍历出的值加上常数C

res\_list6.append(res\_6)

\# 第五步，平移化，每一个数据加上一个常数C，从而得到一个新的数据序列

print(res\_list6)

\# 查看是否转换成功

res\_list7 = \[\]

sum\_7 = 0 \# 设定初值为0

for item in res\_list6:

sum\_7 += item \# 遍历列表，累加给sum\_7

avg = sum\_7/len(res\_list6) \# 平均值 = 列表的和 / 列表的长度

\# 先求列表的平均值

for i in range(0,len(res\_list6)):

res\_7 = res\_list6\[i\]/avg \# 遍历出的值除以数据序列的平均值

res\_list7.append(res\_7)

\# 第六步，均值化，每一个数据除以数据序列的平均值，从而得到一个新的数据序列

display(res\_list7) \# 查看是否转换成功

df1\[df1.columns\[1\]\] = res\_list7 \# 将处理完数据赋值回原表（循环改 \[ \] 内数字即可，与第一步对应）

df1\# 查看是否成功

**循环上面步骤得到结果：**

![49ec0e0f0c4fa97fdc27b74d89be8eea.png][]

newf2.to\_csv('应变.csv') \# 将结果输出excel表（因为前面设置了newf2，所以这里不是用newf1输出）

[c0cf4849b37e94b03ccc21a0c0fd030b.png]: /images/20221119/cd5643d1a6fd4c24b088562d544638de.png
[da5063e7cb0ad8bf51586cafb66bad65.png]: https://img-blog.csdnimg.cn/img_convert/da5063e7cb0ad8bf51586cafb66bad65.png
[49ec0e0f0c4fa97fdc27b74d89be8eea.png]: https://img-blog.csdnimg.cn/img_convert/49ec0e0f0c4fa97fdc27b74d89be8eea.png

发表评论取消回复

表情：

评论列表（有 0 条评论，186人围观）

还没有评论，来说两句吧...

相关阅读

相关特征缩放+无量纲化：最小最大缩放 - Python代码实现

特征缩放+无量纲化：最小最大缩放 - Python代码实现在机器学习的特征工程中，对于数据进行特征缩放和无量纲化是非常重要的步骤。其中，最小最大缩放（MinMaxScale

缺乏、安全感/ 2024年03月23日 16:46/ 0 赞/ 51 阅读

相关 matlab数据无量纲化_大数据——无量纲处理程序

数据无量纲化处理的实现针对经过预处理，去噪后的数据进行分析查看，由于系统中各参数的物理意义不同，导致系统中各参数数据的量纲和数量级也可能不相同，这样就不便于比较，也可能会在

比眉伴天荒/ 2023年01月04日 11:58/ 0 赞/ 187 阅读

相关特征工程的知识储备：数据无量纲化

特征理解之前的知识储备（一）导读数据无量纲化无量纲化的意义导读你现在拿到了许多数据，顺序是完全随机的。这已经不是单凭肉眼和逻辑推导就能

￡神魔★判官ぃ/ 2022年12月22日 09:21/ 0 赞/ 141 阅读

相关使用sklearn进行量纲缩放的程序

使用sklearn进行量纲缩放的程序 -- coding: utf-8 -- """ 演示内容：量纲的特征缩放（两种方法：标准化缩放法和区间缩放法。每

朱雀/ 2022年08月30日 11:58/ 0 赞/ 195 阅读

相关用MatlAB处理实验数据程序

程序实现的功能： disp('\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\') di

妖狐艹你老母/ 2022年08月05日 01:19/ 0 赞/ 281 阅读

相关 Java （高级）软件工程师面试考纲

> O\_O 随便百度一下网上有很多各种各样的Java面试题，很多也是着重在Java语言基础上。实际上，如果要应聘Java （高级）软件工程师，仅仅懂得Java的基础知识是远远

╰半橙微兮°/ 2022年07月30日 15:29/ 0 赞/ 203 阅读

相关 Python划分训练集数据并进行量纲处理

读取数据 data = pd.read_csv('C://Users//TD//Desktop//hosptdata.csv') data1 = pd.r

蔚落/ 2021年12月22日 11:53/ 0 赞/ 285 阅读

相关 Python对数据进行量纲化处理

数据集的训练集和测试集划分 from sklearn.model_selection import train_test_split patientdata为

秒速五厘米/ 2021年12月16日 13:51/ 0 赞/ 337 阅读

相关郭德纲经典语录！

1“大爷，美国怎么走啊？”“问村长去” 2 您大点声不费电 3 待会儿散场都别走,吃饭去。谁去谁掏钱。 4 我是一有钱人。今天后台,就

刺骨的言语ヽ痛彻心扉/ 2021年09月09日 15:50/ 0 赞/ 433 阅读

相关 C5全栈能力认证考纲

> C5大纲涵盖了C1见习能力认证、C5底层能力认证、C5交付能力认证和C5全栈能力认证，是能力认证的总体框架。通过C5认证的工程师，是完全能够胜任一、二线大厂，如BATH、T

向右看齐/ 2021年09月07日 06:16/ 0 赞/ 412 阅读