皮尔逊相关度系数原理,以及java实现

向右看齐 2022-06-06 08:41 277阅读 0赞

1.原理:

![Center][]

以上列出的四个公式等价，其中E是数学期望，cov表示协方差，N表示变量取值的个数。

数学期望,协方差解释文章链接: [http://blog.csdn.net/u010670689/article/details/41896399][http_blog.csdn.net_u010670689_article_details_41896399]

相关系数的值介于–1与+1之间，即–1≤r≤+1。其性质如下：

*  当r>0时，表示两变量[正相关][Link 1]，r<0时，两变量为[负相关][Link 2]。
 *  当|r|=1时，表示两变量为完全线性相关，即为函数关系。
 *  当r=0时，表示两变量间无线性相关关系。
 *  当0<|r|<1时，表示两变量存在一定程度的[线性相关][Link 3]。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱。
 *  一般可按三级划分：|r|<0.4为低度线性相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关。

2.java实现:使用公式二实现的

import java.util.ArrayList;  
import java.util.HashMap;  
import java.util.Iterator;  
import java.util.List;  
import java.util.Map;  
  
  
import org.apache.log4j.Logger;  
  
  
/\*\*  
\*  
\*  
\*/  
public class Similarity \{  
static Logger logger = Logger.getLogger(Similarity.class.getName());  
Map<String, Double> rating\_map = new HashMap<String, Double>();  
List<Double> rating\_map\_list = new ArrayList<Double>();  
  
/\*\*  
\* @param args  
\*/  
public static void main(String\[\] args) \{  
Similarity similarity1 = new Similarity();  
similarity1.rating\_map\_list.add(20d);  
similarity1.rating\_map\_list.add(7d);  
similarity1.rating\_map\_list.add(26d);  
Similarity similarity2 = new Similarity();  
similarity2.rating\_map\_list.add(7d);  
similarity2.rating\_map\_list.add(3d);  
similarity2.rating\_map\_list.add(6d);  
logger.info("" + similarity1.getsimilarity\_bydim(similarity2)); //0.8多,属于高度相关  
  
  
Similarity similarity3 = new Similarity();  
similarity3.rating\_map\_list.add(12d);  
similarity3.rating\_map\_list.add(4d);  
similarity3.rating\_map\_list.add(8d);  
Similarity similarity4 = new Similarity();  
similarity4.rating\_map\_list.add(3d);  
similarity4.rating\_map\_list.add(1d);  
similarity4.rating\_map\_list.add(2d);  
logger.info("" + similarity3.getsimilarity\_bydim(similarity4)); //结果是1.0成比例其实就是前面和后面是倍数关系  
  
\}  
  
  
public Double getsimilarity\_bydim(Similarity u) \{  
if(this.rating\_map\_list.size()!=u.rating\_map\_list.size())\{  
 return null;  
\}  
double sim = 0d; //最后的皮尔逊相关度系数  
double common\_items\_len = this.rating\_map\_list.size(); //操作数的个数  
double this\_sum = 0d; //第一个相关数的和  
double u\_sum = 0d; //第二个相关数的和  
double this\_sum\_sq = 0d; //第一个相关数的平方和  
double u\_sum\_sq = 0d; //第二个相关数的平方和  
double p\_sum = 0d; //两个相关数乘积的和  
  
for(int i = 0;i<this.rating\_map\_list.size();i++)\{  
 double this\_grade = this.rating\_map\_list.get(i);  
 double u\_grade = u.rating\_map\_list.get(i);  
 //评分求和 //平方和 //乘积和  
 this\_sum += this\_grade;  
 u\_sum += u\_grade;  
 this\_sum\_sq += Math.pow(this\_grade, 2);  
 u\_sum\_sq += Math.pow(u\_grade, 2);  
 p\_sum += this\_grade\*u\_grade;  
\}  
  
logger.info("common\_items\_len:"+common\_items\_len);  
logger.info("p\_sum:"+p\_sum);  
logger.info("this\_sum:"+this\_sum);  
logger.info("u\_sum:"+u\_sum);  
double num = common\_items\_len \* p\_sum - this\_sum \* u\_sum;  
double den = Math.sqrt((common\_items\_len \* this\_sum\_sq - Math.pow(this\_sum, 2)) \* (common\_items\_len \* u\_sum\_sq - Math.pow(u\_sum, 2)));  
logger.info("" + num + ":" + den);  
sim = (den == 0) ? 1 : num / den;  
  
return sim;  
\}  
  
\}

# 3.适用范围: #

当两个变量的标准差都不为零时，相关系数才有定义，皮尔逊相关系数适用于：

(1)、两个变量之间是线性关系，都是连续数据。

(2)、两个变量的总体是正态分布，或接近正态的单峰分布。

(3)、两个变量的观测值是成对的，每对观测值之间相互独立。

[转载地址][Link 4]

[Center]: /images/20220606/37988856d78d45fb8426918659ce4326.png
[http_blog.csdn.net_u010670689_article_details_41896399]: http://blog.csdn.net/u010670689/article/details/41896399
[Link 1]: http://wiki.mbalib.com/wiki/%E6%AD%A3%E7%9B%B8%E5%85%B3
[Link 2]: http://wiki.mbalib.com/wiki/%E8%B4%9F%E7%9B%B8%E5%85%B3
[Link 3]: http://wiki.mbalib.com/wiki/%E7%BA%BF%E6%80%A7%E7%9B%B8%E5%85%B3
[Link 4]: http://blog.csdn.net/u010670689/article/details/41895105