常见的相关性分析
创始人
2024-06-03 11:23:53
0

方差分析和相关性分析都是描述特征之间的关系的统计方法,但它们关注的方面略有不同。

方差分析主要用于研究一个或多个自变量对因变量的影响,即研究因素之间的差异性。通过比较不同组之间的方差,可以确定哪些因素对结果变量的影响比较重要,以及不同组之间的显著性差异。因此,方差分析可以用于描述特征的重要性程度。
相关性分析主要用于研究两个或多个变量之间的关系,即研究特征之间的相关性。通过计算相关系数,可以确定不同变量之间的相关程度,以及变量之间的正相关或负相关关系。因此,相关性分析可以用于描述特征间的关系。

Pearson相关系数分析:用于评估两个连续变量之间的线性关系。
Spearman秩相关系数分析:用于评估两个有序变量之间的关系,不要求变量之间具有线性关系。
Kendall秩相关系数分析:用于评估两个有序变量之间的关系,也不要求变量之间具有线性关系。
判定系数(R²)分析:用于评估一个变量是否能够解释另一个变量的变异。

Pearson相关系数分析

Pearson相关系数是用于衡量两个连续变量之间线性相关程度的方法。它的取值范围在-1到1之间,其中0表示没有相关关系,1表示完全正相关,-1表示完全负相关。

计算Pearson相关系数的公式为:

r = Σ((x - x̄)(y - ȳ)) / [(Σ(x - x̄)²Σ(y - ȳ)²) ^ 0.5]

其中,x和y是两个变量的观测值,x̄和ȳ是它们的均值。r的取值范围在-1到1之间,r值越接近1或-1,代表两个变量之间的相关性越强;r值越接近0,代表两个变量之间没有相关性。

Spearman秩相关系数分析

Spearman秩相关系数是用于评估两个有序变量之间的关系的方法。它的取值范围在-1到1之间,其中0表示没有相关关系,1表示完全正相关,-1表示完全负相关。

计算Spearman秩相关系数的公式为:

r = 1 - (6Σd² / n(n² - 1))

其中,d为两个变量的秩次差,n为样本个数。Spearman秩相关系数与Pearson相关系数类似,但更适用于非正态分布的数据或者两个变量之间不是线性关系的情况。

Kendall秩相关系数分析

Kendall秩相关系数也是用于评估两个有序变量之间的关系的方法。它的取值范围也在-1到1之间,其中0表示没有相关关系,1表示完全正相关,-1表示完全负相关。

计算Kendall秩相关系数的公式:
r = (P - Q) / [(n(n-1))/2]

其中,P是两个变量的排列一致的对数,Q是两个变量的排列不一致的对数,n是样本个数。Kendall秩相关系数与Spearman秩相关系数类似,但更适用于小样本数据和存在相同秩次的情况。

在计算P和Q时,首先需要将变量的观测值从小到大排列,并为每个观测值分配一个秩次。然后,对于任意两个观测值,如果它们在两个变量中的秩次一致,则为一致对数P加1;如果它们在两个变量中的秩次不一致,则为不一致对数Q加1。最后,将P和Q代入公式中即可计算出Kendall秩相关系数。

数值型变量例子

import pandas as pd
from scipy.stats import pearsonr, spearmanr, kendalltau# 构造样本数据
df = pd.DataFrame({'x': [1, 2, 3, 4, 5],'y': [3, 5, 7, 9, 11]
})# 计算Pearson相关系数和p值
pearson_corr, pearson_pvalue = pearsonr(df['x'], df['y'])
print('Pearson相关系数:', pearson_corr)
print('Pearson p值:', pearson_pvalue)# 计算Spearman秩相关系数和p值
spearman_corr, spearman_pvalue = spearmanr(df['x'], df['y'])
print('Spearman秩相关系数:', spearman_corr)
print('Spearman p值:', spearman_pvalue)# 计算Kendall秩相关系数和p值
kendall_corr, kendall_pvalue = kendalltau(df['x'], df['y'])
print('Kendall秩相关系数:', kendall_corr)
print('Kendall p值:', kendall_pvalue)
'''
在上面的例子中,我们使用了pandas包创建了一个包含两个变量x和y的DataFrame对象。
然后,分别使用scipy.stats包中的pearsonr()、spearmanr()和kendalltau()函数计算了Pearson、Spearman和Kendall秩相关系数以及p值。
最后,将结果打印出来。需要注意的是,这些函数计算相关系数时,会自动排除包含缺失值的样本。如果数据中包含缺失值,需要先进行缺失值处理。
'''

文本型变量例子

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from scipy.stats import pearsonr# 构造样本数据
text_list = ['I love Python','Python is the best programming language','Java is another programming language','I dislike Java'
]
df = pd.DataFrame({'text': text_list})# 使用TF-IDF向量化文本
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(df['text'])# 计算Pearson相关系数和p值
corr, pvalue = pearsonr(tfidf[0].toarray()[0], tfidf[1].toarray()[0])
print('Pearson相关系数:', corr)
print('p值:', pvalue)
'''
在上面的例子中,我们使用sklearn库中的TfidfVectorizer类将文本向量化为TF-IDF向量,
然后使用scipy库中的pearsonr()函数计算了第一篇文章和第二篇文章之间的Pearson相关系数和p值。
需要注意的是,这里只计算了两篇文章之间的相关性,如果需要计算多篇文章之间的相关性,可以使用循环或者矩阵计算的方法。
'''

相关内容

热门资讯

电视安卓系统哪个品牌好,哪家品... 你有没有想过,家里的电视是不是该升级换代了呢?现在市面上电视品牌琳琅满目,各种操作系统也是让人眼花缭...
安卓会员管理系统怎么用,提升服... 你有没有想过,手机里那些你爱不释手的APP,背后其实有个强大的会员管理系统在默默支持呢?没错,就是那...
安卓系统软件使用技巧,解锁软件... 你有没有发现,用安卓手机的时候,总有一些小技巧能让你玩得更溜?别小看了这些小细节,它们可是能让你的手...
安卓系统提示音替换 你知道吗?手机里那个时不时响起的提示音,有时候真的能让人心情大好,有时候又让人抓狂不已。今天,就让我...
安卓开机不了系统更新 手机突然开不了机,系统更新还卡在那里,这可真是让人头疼的问题啊!你是不是也遇到了这种情况?别急,今天...
安卓系统中微信视频,安卓系统下... 你有没有发现,现在用手机聊天,视频通话简直成了标配!尤其是咱们安卓系统的小伙伴们,微信视频功能更是用...
安卓系统是服务器,服务器端的智... 你知道吗?在科技的世界里,安卓系统可是个超级明星呢!它不仅仅是个手机操作系统,竟然还能成为服务器的得...
pc电脑安卓系统下载软件,轻松... 你有没有想过,你的PC电脑上安装了安卓系统,是不是瞬间觉得世界都大不一样了呢?没错,就是那种“一机在...
电影院购票系统安卓,便捷观影新... 你有没有想过,在繁忙的生活中,一部好电影就像是一剂强心针,能瞬间让你放松心情?而我今天要和你分享的,...
安卓系统可以写程序? 你有没有想过,安卓系统竟然也能写程序呢?没错,你没听错!这个我们日常使用的智能手机操作系统,竟然有着...
安卓系统架构书籍推荐,权威书籍... 你有没有想过,想要深入了解安卓系统架构,却不知道从何下手?别急,今天我就要给你推荐几本超级实用的书籍...
安卓系统看到的炸弹,技术解析与... 安卓系统看到的炸弹——揭秘手机中的隐形威胁在数字化时代,智能手机已经成为我们生活中不可或缺的一部分。...
鸿蒙系统有安卓文件,畅享多平台... 你知道吗?最近在科技圈里,有个大新闻可是闹得沸沸扬扬的,那就是鸿蒙系统竟然有了安卓文件!是不是觉得有...
宝马安卓车机系统切换,驾驭未来... 你有没有发现,现在的汽车越来越智能了?尤其是那些豪华品牌,比如宝马,它们的内饰里那个大屏幕,简直就像...
p30退回安卓系统 你有没有听说最近P30的用户们都在忙活一件大事?没错,就是他们的手机要退回安卓系统啦!这可不是一个简...
oppoa57安卓原生系统,原... 你有没有发现,最近OPPO A57这款手机在安卓原生系统上的表现真是让人眼前一亮呢?今天,就让我带你...
安卓系统输入法联想,安卓系统输... 你有没有发现,手机上的输入法真的是个神奇的小助手呢?尤其是安卓系统的输入法,简直就是智能生活的点睛之...
怎么进入安卓刷机系统,安卓刷机... 亲爱的手机控们,你是否曾对安卓手机的刷机系统充满好奇?想要解锁手机潜能,体验全新的系统魅力?别急,今...
安卓系统程序有病毒 你知道吗?在这个数字化时代,手机已经成了我们生活中不可或缺的好伙伴。但是,你知道吗?即使是安卓系统,...
奥迪中控安卓系统下载,畅享智能... 你有没有发现,现在汽车的中控系统越来越智能了?尤其是奥迪这种豪华品牌,他们的中控系统简直就是科技与艺...