标准差的理解

曾经终败给现在 2023-02-21 02:23 5阅读 0赞

我们在数据的处理过程中，或者在数据分析的过程中，对数据的验证是必要的一步，我们要去了解数据的有效性和真实性，这样才能更加准确的用数据说明问题，这里讲一下几个简单的关于数据的概念，可以帮助我们来理解相应的统计学问题。

**概念：**

首先讲一下标准差的概念，要了解什么是标准差。

**标准差**（**StandardDeviation**），在[概率][Link 1]统计中最常使用作为[统计分布][Link 2]程度（statisticaldispersion）上的测量。标准差定义是总体各单位标准值与其平均数离差平方的算术平均数的[平方根][Link 3]。它反映组内个体间的离散程度。[测量][Link 4]到[分布][Link 5]程度的结果，原则上具有两种[性质][Link 6]：

为非负数值，与测量[资料][Link 7]具有相同单位。一个总量的标准差或一个[随机变量][Link 8]的标准差，及一个子集合样品数的标准差之间，有所差别。

简单来说，标准差是一组数据[平均值][Link 9]分散程度的一种度量。一个较大的标准差，代表大部分数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

例如，两组数的集合\{0,5,9,14\}和\{5,6,8,9\}其平均值都是7，但第二个集合具有较小的标准差。

标准差可以当作不确定性的一种测量。例如在[物理][Link 10]科学中，做重复性测量时，测量数值集合的标准差代表这些测量的精确度。当要决定测量值是否符合预测值，测量值的标准差占有决定性重要角色：如果测量平均值与预测值相差太远（同时与标准差数值做比较），则认为测量值与预测值互相矛盾。这很容易理解，因为如果测量值都落在一定数值范围之外，可以合理推论预测值是否正确。

标准差应用于投资上，可作为量度回报稳定性的指标。标准差数值越大，代表回报远离过去[平均数][Link 11]值，回报较不稳定故风险越高。相反，标准差[数值][Link 12]越小，代表回报较为[稳定][Link 13]，[风险][Link 14]亦较小。

例如，A、B两组各有6位学生参加同一次语文测验，A组的分数为95、85、75、65、55、45，B组的分数为73、72、71、69、68、67。这两组的平均数都是70，但A组的标准差约为17.08分，B组的标准差约为2.16分，说明A组学生之间的差距要比B组学生之间的差距大得多。

如是[总体][Link 15]（即[估算][Link 16]总体），根号内除以n（对应excel函数：STDEVP）；

如是[抽样][Link 17]（即估算样本），根号内除以（n-1）（对应excel函数：STDEV）；

因为我们大量接触的是[样本][Link 18]，所以普遍使用根号内除以（n-1）。

**公式：**

所有数减去其平均值的[平方][Link 19]和，所得结果[除][Link 20]以该组数之个数（或个数减一，即变异数），再把所得值开根号，所得之数就是这组数据的标准差。

**扩展：**

离散度：

标准差是反映一组数据[离散程度][Link 21]最常用的一种量化形式，是表示[精确度][Link 22]的重要指标。说起标准差首先得搞清楚它出现的目的。我们使用方法去检测它，但检测方法总是有误差的，所以检测值并不是其真实值。检测值与真实值之间的差距就是评价检测方法最有决定性的指标。但是真实值是多少，不得而知。因此怎样量化检测方法的准确性就成了难题。这也是临床工作质控的目的：保证每批实验结果的准确可靠。

虽然样本的真实值是不可能知道的，但是每个样本总是会有一个真实值的，不管它究竟是多少。可以想象，一个好的检测方法，其检测值应该很紧密的分散在真实值周围。如果不紧密，与真实值的距离就会大，准确性当然也就不好了，不可能想象离散度大的方法，会测出准确的结果。因此，离散度是评价方法的好坏的最重要也是最基本的指标。

一组数据怎样去评价和量化它的离散度，有很多种方法：

### 极差 ###

最直接也是最简单的[方法][Link 23]，即最大值－最小值（也就是极差）来评价一组数据的离散度。这一方法在日常生活中最为常见，比如比赛中去掉最高最低分就是[极差][Link 24]的具体应用。

### 离均差平方和 ###

由于误差的不可控性，因此只由两个数据来评判一组数据是不科学的。所以人们在要求更高的领域不使用极差来评判。其实，离散度就是数据偏离平[均值][Link 25]的程度。因此将数据与均值之差（我们叫它[离均差][Link 26]）加起来就能反映出一个准确的[离散程度][Link 27]。和越大离散度也就越大。

但是由于偶然误差是成[正态分布][Link 28]的，离均差有正有负，对于大样本离均差的代数和为零的。为了避免正负问题，在数学有上有两种方法：一种是取绝对值，也就是常说的离均差绝对值之和。而为了避免符号问题，数学上最常用的是另一种方法－－平方，这样就都成了[非负数][Link 29]。因此，离均差的平方和成了评价离散度一个指标。

### 方差 ###

由于离均差的平方和与样本个数有关，只能反映相同样本的离散度，而实际工作中做比较很难做到相同的样本，因此为了消除样本个数的影响，增加可比性，将离均差的平方和求平均值，这就是我们所说的方差成了评价离散度的较好指标。

样本量越大越能反映真实的情况，而算术平均值却完全忽略了这个问题，对此统计学上早有考虑，在统计学中样本的均差多是除以[自由度][Link 30]（n-1），它的意思是样本能自由选择的程度。当选到只剩一个时，它不可能再有自由了，所以自由度是n-1。

### 标准差意义 ###

由于[方差][Link 31]是数据的平方，与检测值本身相差太大，人们难以直观的衡量，所以常用方差开根号换算回来这就是我们要说的标准差。

在统计学中样本的均差多是除以自由度（n-1），它是意思是样本能自由选择的程度。当选到只剩一个时，它不可能再有自由了，所以自由度是n-1。

### 变异系数 ###

标准差能很客观准确的反映一组数据的离散程度，但是对于不同的项目，或同一项目不同的样本，标准差就缺乏可比性了，因此对于方法学评价来说又引入了变异系数CV。

一组数据的平均值及标准差常常同时做为参考的依据。在直觉上，如果数值的中心以平均值来考虑，则标准差为统计分布之一“自然”的测量。

**定义公式：其中N应为n-1，即自由度**

[![标准差与平均值定义公式][format_png]][format_png 1]标准差与平均值定义公式

⒈方差s^2=\[（x1-x）^2+（x2-x）^2+......（xn-x）^2\]（x为平均数）

⒉标准差=方差的算术平方根errorbar。在实验中单次测量总是难免会产生误差，为此我们经常测量多次，然后用测量值的[平均值][Link 9]表示测量的量，并用误差条来表征数据的分布，其中误差条的高度为±标准误。这里即标准差。

standarddeviation和标准误standarderror的计算公式分别为

[![标准差][format_png 2]][format_png 2 1]标准差

[![标准误][format_png 3]][format_png 3 1]标准误

## 解释 ##

从几何学的角度出发，标准差可以理解为一个从n维空间的一个点到一条直线的距离的函数。举一个简单的例子，一组数据中有3个值，X1,X2,X3。它们可以在3维空间中确定一个点P=（X1,X2,X3）。想像一条通过原点的直线。如果这组数据中的3个值都相等，则点P就是直线L上的一个点，P到L的距离为0，所以标准差也为0。若这3个值不都相等，过点P作垂线PR垂直于L，PR交L于点R，则R的坐标为这3个值的平均数：

[![公式][format_png 4]][format_png 4 1]公式

运用一些代数知识，不难发现点P与点R之间的距离（也就是点P到直线L的距离）是|PR|。在n[维空间][Link 32]中，这个规律同样适用，把3换成n就可以了。

## 标准差标准误差 ##

标准差与[标准误差][Link 33]都是数理统计学的内容，两者不但在字面上比较相近，而且两者都是表示距离某一个标准值或中间值的离散程度，即都表示变异程度，但是两者是有着较大的区别的。

首先要从统计抽样的方面说起。现实生活或者调查研究中，我们常常无法对某类欲进行调查的目标群体的所有成员都加以施测，而只能够在所有成员（即样本）中抽取一些成员出来进行调查，然后利用统计原理和方法对所得数据进行分析，分析出来的数据结果就是样本的结果，然后用样本结果推断总体的情况。一个总体可以抽取出多个样本，所抽取的样本越多，其样本均值就越接近总体数据的平均值。

[![format_png 5][]][format_png 5 1]

**　　****标准差**表示的就是样本数据的离散程度。标准差就是[样本平均数][Link 34]方差的[开平方][Link 35]，标准差通常是相对于样本数据的平均值而定的，通常用M±SD来表示，表示样本某个数据观察值相距平均值有多远。从这里可以看到，标准差受到极值的影响。标准差越小，表明数据越聚集；标准差越大，表明数据越离散。标准差的大小因测验而定，如果一个测验是学术测验，标准差大，表示学生分数的[离散程度][Link 27]大，更能够测量出学生的学业水平；如果一个测验测量的是某种心理品质，标准差小，表明所编写的题目是同质的，这时候的标准差小的更好。标准差与正态分布有密切联系：在正态分布中，1个标准差等于正态分布下曲线的68.26%的面积，1.96个标准差等于95%的面积。这在测验分数等值上有重要作用。

**标准误差**表示的是抽样的误差。因为从一个总体中可以抽取出无数多种样本，每一个样本的数据都是对总体的数据的估计。标准误代表的就是当前的样本对总体数据的估计，标准误代表的就是[样本均数][Link 36]与总体均数的[相对误差][Link 37]。标准误是由样本的标准差除以[样本容量][Link 38]的[开平方][Link 35]来计算的。从这里可以看到，标准误更大的是受到样本容量的影响。样本容量越大，标准误越小，那么[抽样误差][Link 39]就越小，就表明所抽取的样本能够较好地代表总体。

一个正态分布的总体，抽取n个作为[样本][Link 18]，可以得到样本平均值，用样本均值估计总体均值需要考虑样本均值的方差或标准差（也就是标准误差） \[1\]

**![format_png 6][]函数**

Excel中有STDEV、STDEVP;STDEVA,STDEVPA四个函数，分别表示样本标准差、总体标准差；包含逻辑值运算的样本标准差、包含逻辑值运算的总体标准差（excel用的是“标准偏差”字样）。

在计算方法上的差异是：样本标准差^2=（样本方差/（数据个数-1））；总体标准差^2=（总体方差/（数据个数））。

函数的excel分解：

⑴stdev（）函数可以分解为（假设样本数据为A1：E10这样一个[矩阵][Link 40]）：

stdev（A1：E10）=sqrt（DEVSQ（A1：E10）/（COUNT（A1：E10）-1））

⑵stdevp（）函数可以分解为（假设总体数据为A1：E10这样一个矩阵）：

stdevp（A1：E10）=sqrt（DEVSQ（A1：E10）/（COUNT（A1：E10）））

同样的道理stdeva（）与stdevpa（）也有同样的分解方法。

## 外汇术语 ##

标准差指统计上用于衡量一组数值中某一数值与其平均值差异程度的指标。标准差被用来评估价格可能的变化或波动程度。标准差越大，价格波动的范围就越广，股票等金融工具表现的波动就越大。

在excel中调用函数

“STDEV“

估算样本的标准偏差。标准偏差反映相对于平均值（mean）的[离散程度][Link 27]。

### 选基金 ###

在投资基金上，一般人比较重视的是业绩，但往往买进了

[![基金的算法][format_png 7]][format_png 7 1]基金的算法

近期业绩表现最佳的基金之后，基金表现反而不如预期，这是因为所选基金波动度太大，没有稳定的表现。

衡量基金波动程度的工具就是标准差（StandardDeviation）。标准差是指基金可能的变动程度。标准差越大，基金未来净值可能变动的程度就越大，稳定度就越小，风险就越高。

比方说，一年期标准差是30%的基金，表示这类基金的净值在一年内可能上涨30%，但也可能下跌30%。因此，如果有两只收益率相同的基金，投资人应该选择标准差较小的基金（承受较小的风险得到相同的收益），如果有两只相同标准差的基金，则应该选择收益较高的基金（承受相同的风险，但是收益更高）。建议投资人同时将收益和风险计入，以此来判断基金。例如，A基金二年期的收益率为36%，标准差为18%；B基金二年期收益率为24%，标准差为8%，从数据上看，A基金的收益高于B基金，但同时风险也大于B基金。A基金的"每单位风险收益率"为2（0.36/0.18），而B基金为3（0.24/0.08）。因此，原先仅仅以收益评价是A基金较优，但是经过标准差即风险因素调整后，B基金反而更为优异。

另外，标准差也可以用来判断基金属性。据晨星统计，股票基金的平均标准差为5.14，积极型基金的平均标准差为5.04；保守配置型基金的平均标准差为4.86；普通债券基金平均标准差为2.91；货币基金平均标准差则为0.19；由此可见，越是积极型的基金，标准差越大；而如果投资人持有的基金标准差高于平均值，则表示风险较高，投资人不妨在观赏奥运比赛的同时，也检视一下手中的基金。

参考：百度百科[https://baike.baidu.com/item/%E6%A0%87%E5%87%86%E5%B7%AE/1415772?fr=aladdin][https_baike.baidu.com_item_E6_A0_87_E5_87_86_E5_B7_AE_1415772_fr_aladdin]

[Link 1]: https://baike.baidu.com/item/%E6%A6%82%E7%8E%87
[Link 2]: https://baike.baidu.com/item/%E7%BB%9F%E8%AE%A1%E5%88%86%E5%B8%83
[Link 3]: https://baike.baidu.com/item/%E5%B9%B3%E6%96%B9%E6%A0%B9/79171
[Link 4]: https://baike.baidu.com/item/%E6%B5%8B%E9%87%8F/398072
[Link 5]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83/6098226
[Link 6]: https://baike.baidu.com/item/%E6%80%A7%E8%B4%A8
[Link 7]: https://baike.baidu.com/item/%E8%B5%84%E6%96%99
[Link 8]: https://baike.baidu.com/item/%E9%9A%8F%E6%9C%BA%E5%8F%98%E9%87%8F
[Link 9]: https://baike.baidu.com/item/%E5%B9%B3%E5%9D%87%E5%80%BC
[Link 10]: https://baike.baidu.com/item/%E7%89%A9%E7%90%86/127205
[Link 11]: https://baike.baidu.com/item/%E5%B9%B3%E5%9D%87%E6%95%B0
[Link 12]: https://baike.baidu.com/item/%E6%95%B0%E5%80%BC/2013853
[Link 13]: https://baike.baidu.com/item/%E7%A8%B3%E5%AE%9A/5609736
[Link 14]: https://baike.baidu.com/item/%E9%A3%8E%E9%99%A9/2833020
[Link 15]: https://baike.baidu.com/item/%E6%80%BB%E4%BD%93/19951273
[Link 16]: https://baike.baidu.com/item/%E4%BC%B0%E7%AE%97/11051617
[Link 17]: https://baike.baidu.com/item/%E6%8A%BD%E6%A0%B7/1163966
[Link 18]: https://baike.baidu.com/item/%E6%A0%B7%E6%9C%AC/5712132
[Link 19]: https://baike.baidu.com/item/%E5%B9%B3%E6%96%B9/619690
[Link 20]: https://baike.baidu.com/item/%E9%99%A4/13014754
[Link 21]: https://baike.baidu.com/item/%E7%A6%BB%E6%95%A3%E7%A8%8B%E5%BA%A6/6775049
[Link 22]: https://baike.baidu.com/item/%E7%B2%BE%E7%A1%AE%E5%BA%A6/1612899
[Link 23]: https://baike.baidu.com/item/%E6%96%B9%E6%B3%95
[Link 24]: https://baike.baidu.com/item/%E6%9E%81%E5%B7%AE
[Link 25]: https://baike.baidu.com/item/%E5%9D%87%E5%80%BC
[Link 26]: https://baike.baidu.com/item/%E7%A6%BB%E5%9D%87%E5%B7%AE
[Link 27]: https://baike.baidu.com/item/%E7%A6%BB%E6%95%A3%E7%A8%8B%E5%BA%A6
[Link 28]: https://baike.baidu.com/item/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83
[Link 29]: https://baike.baidu.com/item/%E9%9D%9E%E8%B4%9F%E6%95%B0
[Link 30]: https://baike.baidu.com/item/%E8%87%AA%E7%94%B1%E5%BA%A6
[Link 31]: https://baike.baidu.com/item/%E6%96%B9%E5%B7%AE
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvZDQzOWI2MDAzYWYzM2E4NzExMWU1MDEwYzY1YzEwMzg1MzQzYjU0ZA?x-oss-process=image/format,png
[format_png 1]: https://baike.baidu.com/pic/%E6%A0%87%E5%87%86%E5%B7%AE/1415772/0/d1e312f4c9e3aed57609d7ae?fr=lemma&ct=single
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvYmYwOTZiNjNmNjI0NmI2MDhhZTI0NTEzZWJmODFhNGM1MDBmYTJlZA?x-oss-process=image/format,png
[format_png 2 1]: https://baike.baidu.com/pic/%E6%A0%87%E5%87%86%E5%B7%AE/1415772/0/b74124f3bc562b07342acc0e?fr=lemma&ct=single
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvN2FlYzU0ZTczNmQxMmYyZTc5ZWE1OTA3NGZjMmQ1NjI4NDM1NjhlZQ?x-oss-process=image/format,png
[format_png 3 1]: https://baike.baidu.com/pic/%E6%A0%87%E5%87%86%E5%B7%AE/1415772/0/f15e2429ed2722a998250a0f?fr=lemma&ct=single
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvMWFkNWFkNmVkZGM0NTFkYWYyZDk1Y2UxYjZmZDUyNjZkMDE2MzI4OA?x-oss-process=image/format,png
[format_png 4 1]: https://baike.baidu.com/pic/%E6%A0%87%E5%87%86%E5%B7%AE/1415772/0/d002b34ba20116ca82025ce9?fr=lemma&ct=single
[Link 32]: https://baike.baidu.com/item/%E7%BB%B4%E7%A9%BA%E9%97%B4
[Link 33]: https://baike.baidu.com/item/%E6%A0%87%E5%87%86%E8%AF%AF%E5%B7%AE/9584313
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvZjMxZmJlMDk2YjYzZjYyNGUyOTViMjU1ODc0NGViZjgxYjRjYTM5OA?x-oss-process=image/format,png
[format_png 5 1]: https://baike.baidu.com/pic/%E6%A0%87%E5%87%86%E5%B7%AE/1415772/0/d478a800b30684e1e850cdf9?fr=lemma&ct=single
[Link 34]: https://baike.baidu.com/item/%E6%A0%B7%E6%9C%AC%E5%B9%B3%E5%9D%87%E6%95%B0
[Link 35]: https://baike.baidu.com/item/%E5%BC%80%E5%B9%B3%E6%96%B9
[Link 36]: https://baike.baidu.com/item/%E6%A0%B7%E6%9C%AC%E5%9D%87%E6%95%B0
[Link 37]: https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E8%AF%AF%E5%B7%AE
[Link 38]: https://baike.baidu.com/item/%E6%A0%B7%E6%9C%AC%E5%AE%B9%E9%87%8F
[Link 39]: https://baike.baidu.com/item/%E6%8A%BD%E6%A0%B7%E8%AF%AF%E5%B7%AE
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9mb3JtdWxhL2VkMDczM2UzYjIwN2IzMGI0ZGRlMWRhNDRhN2M0OGMwLnN2Zw?x-oss-process=image/format,png
[Link 40]: https://baike.baidu.com/item/%E7%9F%A9%E9%98%B5
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvNDAzNDk3MGEzMDRlMjUxZmM1ZGRiNmYyYTc4NmM5MTc3ZjNlNTM5NQ?x-oss-process=image/format,png
[format_png 7 1]: https://baike.baidu.com/pic/%E6%A0%87%E5%87%86%E5%B7%AE/1415772/0/c28fddfdac14f57fd6887df6?fr=lemma&ct=single
[https_baike.baidu.com_item_E6_A0_87_E5_87_86_E5_B7_AE_1415772_fr_aladdin]: https://baike.baidu.com/item/%E6%A0%87%E5%87%86%E5%B7%AE/1415772?fr=aladdin