相关系数r和决定系数R2的那些事

缺乏、安全感 2022-04-10 12:31 1206阅读 0赞

### 文章目录 ###

*  相关系数$r$和决定系数$R^2$的那些事
 *   *  协方差与相关系数
     *  决定系数（R方）
     *  参考资料

# 相关系数 r r r和决定系数 R 2 R^2 R2的那些事 #

有人说相关系数（correlation coefficient， r r r）和决定系数（coefficient of determination， R 2 R^2 R2，读作R-Squared）都是评价两个变量相关性的指标，且相关系数的平方就是决定系数？这种说法对不对呢？请听下文分解！

## 协方差与相关系数 ##

要说相关系数，我们先来聊聊协方差。在之前的博文《[使用Python计算方差协方差相关系数][Python]》中提到协方差是计算两个随机变量 X X X和 Y Y Y 之间的相关性的指标，定义如下：

C o v ( X , Y ) = E \[ ( X − E X ) ( Y − E Y ) \] \\mathrm\{Cov\}(X, Y) = \\mathrm\{E\}\[(X - \\mathrm\{E\}X)(Y - \\mathrm\{E\}Y)\] Cov(X,Y)=E\[(X−EX)(Y−EY)\]

但是协方差有一个确定：它的值会随着变量量纲的变化而变化（covariance is not scale invariant），所以，这才提出了相关系数的概念：

r = C o r r ( X , Y ) = C o v ( X , Y ) σ X ⋅ σ Y = E \[ ( X − E X ) ( Y − E Y ) \] E \[ X − E X \] 2 E \[ Y − E Y \] 2 r = \\mathrm\{Corr\}(X, Y) = \\frac\{Cov(X, Y)\}\{\\sigma\_X \\cdot \\sigma\_Y\} = \\frac\{\\mathrm\{E\}\[(X - \\mathrm\{E\}X)(Y - \\mathrm\{E\}Y)\]\}\{\\sqrt\{\\mathrm\{E\}\[X - \\mathrm\{E\}X\]^2\}\\sqrt\{\\mathrm\{E\}\[Y - \\mathrm\{E\}Y\]^2\}\} r=Corr(X,Y)=σX⋅σYCov(X,Y)=E\[X−EX\]2E\[Y−EY\]2E\[(X−EX)(Y−EY)\]

对于相关系数，我们需要注意：

1.  相关系数是用于描述两个变量*线性*相关程度的，如果 r > 0 r \\gt 0 r>0，呈正相关；如果 r = 0 r = 0 r=0，不相关；如果 r < 0 r \\lt 0 r<0，呈负相关。
2.  如果我们将 X − E X X - \\mathrm\{E\}X X−EX和 Y − E Y Y - \\mathrm\{E\}Y Y−EY看成两个向量的话，那 r r r刚好表示的是这两个向量夹角的余弦值，这也就解释了为什么 r r r的值域是\[-1, 1\]。
3.  相关系数对变量的平移和缩放（线性变换）保持不变（Correlation is invariant to scaling and shift，不知道中文该如何准确表达，?）。比如 C o r r ( X , Y ) = C o r r ( a X + b , Y ) \\mathrm\{Corr\}(X, Y) = \\mathrm\{Corr\}(aX + b, Y) Corr(X,Y)=Corr(aX\+b,Y)恒成立。

## 决定系数（R方） ##

下面来说决定系数，R方一般用在回归模型用用于评估预测值和实际值的符合程度，R方的定义如下：

R 2 = 1 − F V U = 1 − R S S T S S = 1 − ∑ i ( y i − f i ) 2 ∑ i ( y i − y ^ ) 2 R^2 = 1 - \\mathrm\{FVU\} = 1 - \\frac\{\\mathrm\{RSS\}\}\{\\mathrm\{TSS\}\} = 1 - \\frac\{\\sum\\limits\_i(y\_i - f\_i)^2\}\{\\sum\\limits\_i(y\_i - \\hat\{y\})^2\} R2=1−FVU=1−TSSRSS=1−i∑(yi−y^)2i∑(yi−fi)2

上式中 y y y是实际值， f f f是预测值， y ^ \\hat\{y\} y^是实际值的平均值。 F V U \\mathrm\{FVU\} FVU被称为fraction of variance unexplained，RSS叫做Residual sum of squares，TSS叫做Total sum of squares。根据 R 2 R^2 R2的定义，可以看到 R 2 R^2 R2是有可能小于0的，所以 R 2 R2 R2不是 r r r的平方。一般地， R 2 R^2 R2越接近1，表示回归分析中自变量对因变量的解释越好。

对于 R 2 R^2 R2可以通俗地理解为使用均值作为误差基准，看预测误差是否大于或者小于均值基准误差。

此外，我们做这样一个变形： R 2 = 1 − ∑ i ( y i − f i ) 2 / n ∑ i ( y i − y ^ ) 2 / n = 1 − R M S E V a r R^2 = 1 - \\frac\{\\sum\\limits\_i(y\_i - f\_i)^2 / n\}\{\\sum\\limits\_i(y\_i - \\hat\{y\})^2 / n\} = 1 - \\frac\{\\mathrm\{RMSE\}\}\{\\mathrm\{Var\}\} R2=1−i∑(yi−y^)2/ni∑(yi−fi)2/n=1−VarRMSE，可以看到变成了1减去均方根误差和方差的比值（有利于编程实现）。

另外有一个叫做Explained sum of squares， E S S = ∑ i ( f i − y ^ ) 2 \\mathrm\{ESS\} = \\sum\\limits\_i(f\_i - \\hat\{y\})^2 ESS=i∑(fi−y^)2

在一般地线性回归模型中，有 E S S + R S S = T S S \\mathrm\{ESS\} + \\mathrm\{RSS\} = \\mathrm\{TSS\} ESS\+RSS=TSS（证明过程参见：[Partitioning in the general ordinary least squares model][]）

在这种情况下：我们有 R 2 = 1 − R S S T S S = E S S T S S = ∑ i ( f i − y ^ ) 2 ∑ i ( y i − y ^ ) 2 R^2 = 1 - \\frac\{\\mathrm\{RSS\}\}\{\\mathrm\{TSS\}\} = \\frac\{\\mathrm\{ESS\}\}\{\\mathrm\{TSS\}\} = \\frac\{\\sum\\limits\_i(f\_i - \\hat\{y\})^2\}\{\\sum\\limits\_i(y\_i - \\hat\{y\})^2\} R2=1−TSSRSS=TSSESS=i∑(yi−y^)2i∑(fi−y^)2

对于 R 2 R^2 R2我们需要注意：

1.   R 2 R^2 R2一般用在线性模型中（虽然非线性模型总也可以用），具体参见：[Regression Analysis: How Do I Interpret R-squared and Assess the Goodness-of-Fit?][Regression Analysis_ How Do I Interpret R-squared and Assess the Goodness-of-Fit]
2.   R 2 R^2 R2不能完全反映模型预测能力的高低

最后，这篇文章《[8 Tips for Interpreting R-Squared][]》里面指出了不错误解读 R 2 R^2 R2的地方，读完之后，我觉得以后还是少用 R 2 R^2 R2，对于模型的评估可以选择其它一些更适合的指标。

## 参考资料 ##

\[1\]. [The relationship between correlation and the coefficient of determination][]

\[2\]. [Coefficient of determination][]

\[3\]. [Explained sum of squares][]

\[4\]. [Regression Analysis: How Do I Interpret R-squared and Assess the Goodness-of-Fit?][Regression Analysis_ How Do I Interpret R-squared and Assess the Goodness-of-Fit]

\[5\]. [8 Tips for Interpreting R-Squared][]

[Python]: https://blog.csdn.net/theonegis/article/details/85059105
[Partitioning in the general ordinary least squares model]: https://en.wikipedia.org/wiki/Explained_sum_of_squares#Partitioning_in_the_general_ordinary_least_squares_model
[Regression Analysis_ How Do I Interpret R-squared and Assess the Goodness-of-Fit]: http://blog.minitab.com/blog/adventures-in-statistics-2/regression-analysis-how-do-i-interpret-r-squared-and-assess-the-goodness-of-fit
[8 Tips for Interpreting R-Squared]: https://www.displayr.com/8-tips-for-interpreting-r-squared/
[The relationship between correlation and the coefficient of determination]: http://danshiebler.com/2017-06-25-metrics/
[Coefficient of determination]: https://en.wikipedia.org/wiki/Coefficient_of_determination
[Explained sum of squares]: https://en.wikipedia.org/wiki/Explained_sum_of_squares