常见的相关性分析
创始人
2024-06-03 11:23:53
0

方差分析和相关性分析都是描述特征之间的关系的统计方法,但它们关注的方面略有不同。

方差分析主要用于研究一个或多个自变量对因变量的影响,即研究因素之间的差异性。通过比较不同组之间的方差,可以确定哪些因素对结果变量的影响比较重要,以及不同组之间的显著性差异。因此,方差分析可以用于描述特征的重要性程度。
相关性分析主要用于研究两个或多个变量之间的关系,即研究特征之间的相关性。通过计算相关系数,可以确定不同变量之间的相关程度,以及变量之间的正相关或负相关关系。因此,相关性分析可以用于描述特征间的关系。

Pearson相关系数分析:用于评估两个连续变量之间的线性关系。
Spearman秩相关系数分析:用于评估两个有序变量之间的关系,不要求变量之间具有线性关系。
Kendall秩相关系数分析:用于评估两个有序变量之间的关系,也不要求变量之间具有线性关系。
判定系数(R²)分析:用于评估一个变量是否能够解释另一个变量的变异。

Pearson相关系数分析

Pearson相关系数是用于衡量两个连续变量之间线性相关程度的方法。它的取值范围在-1到1之间,其中0表示没有相关关系,1表示完全正相关,-1表示完全负相关。

计算Pearson相关系数的公式为:

r = Σ((x - x̄)(y - ȳ)) / [(Σ(x - x̄)²Σ(y - ȳ)²) ^ 0.5]

其中,x和y是两个变量的观测值,x̄和ȳ是它们的均值。r的取值范围在-1到1之间,r值越接近1或-1,代表两个变量之间的相关性越强;r值越接近0,代表两个变量之间没有相关性。

Spearman秩相关系数分析

Spearman秩相关系数是用于评估两个有序变量之间的关系的方法。它的取值范围在-1到1之间,其中0表示没有相关关系,1表示完全正相关,-1表示完全负相关。

计算Spearman秩相关系数的公式为:

r = 1 - (6Σd² / n(n² - 1))

其中,d为两个变量的秩次差,n为样本个数。Spearman秩相关系数与Pearson相关系数类似,但更适用于非正态分布的数据或者两个变量之间不是线性关系的情况。

Kendall秩相关系数分析

Kendall秩相关系数也是用于评估两个有序变量之间的关系的方法。它的取值范围也在-1到1之间,其中0表示没有相关关系,1表示完全正相关,-1表示完全负相关。

计算Kendall秩相关系数的公式:
r = (P - Q) / [(n(n-1))/2]

其中,P是两个变量的排列一致的对数,Q是两个变量的排列不一致的对数,n是样本个数。Kendall秩相关系数与Spearman秩相关系数类似,但更适用于小样本数据和存在相同秩次的情况。

在计算P和Q时,首先需要将变量的观测值从小到大排列,并为每个观测值分配一个秩次。然后,对于任意两个观测值,如果它们在两个变量中的秩次一致,则为一致对数P加1;如果它们在两个变量中的秩次不一致,则为不一致对数Q加1。最后,将P和Q代入公式中即可计算出Kendall秩相关系数。

数值型变量例子

import pandas as pd
from scipy.stats import pearsonr, spearmanr, kendalltau# 构造样本数据
df = pd.DataFrame({'x': [1, 2, 3, 4, 5],'y': [3, 5, 7, 9, 11]
})# 计算Pearson相关系数和p值
pearson_corr, pearson_pvalue = pearsonr(df['x'], df['y'])
print('Pearson相关系数:', pearson_corr)
print('Pearson p值:', pearson_pvalue)# 计算Spearman秩相关系数和p值
spearman_corr, spearman_pvalue = spearmanr(df['x'], df['y'])
print('Spearman秩相关系数:', spearman_corr)
print('Spearman p值:', spearman_pvalue)# 计算Kendall秩相关系数和p值
kendall_corr, kendall_pvalue = kendalltau(df['x'], df['y'])
print('Kendall秩相关系数:', kendall_corr)
print('Kendall p值:', kendall_pvalue)
'''
在上面的例子中,我们使用了pandas包创建了一个包含两个变量x和y的DataFrame对象。
然后,分别使用scipy.stats包中的pearsonr()、spearmanr()和kendalltau()函数计算了Pearson、Spearman和Kendall秩相关系数以及p值。
最后,将结果打印出来。需要注意的是,这些函数计算相关系数时,会自动排除包含缺失值的样本。如果数据中包含缺失值,需要先进行缺失值处理。
'''

文本型变量例子

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from scipy.stats import pearsonr# 构造样本数据
text_list = ['I love Python','Python is the best programming language','Java is another programming language','I dislike Java'
]
df = pd.DataFrame({'text': text_list})# 使用TF-IDF向量化文本
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(df['text'])# 计算Pearson相关系数和p值
corr, pvalue = pearsonr(tfidf[0].toarray()[0], tfidf[1].toarray()[0])
print('Pearson相关系数:', corr)
print('p值:', pvalue)
'''
在上面的例子中,我们使用sklearn库中的TfidfVectorizer类将文本向量化为TF-IDF向量,
然后使用scipy库中的pearsonr()函数计算了第一篇文章和第二篇文章之间的Pearson相关系数和p值。
需要注意的是,这里只计算了两篇文章之间的相关性,如果需要计算多篇文章之间的相关性,可以使用循环或者矩阵计算的方法。
'''

相关内容

热门资讯

系统如何与安卓互通,技术融合与... 你有没有想过,你的手机系统竟然能和安卓系统这么默契地互通有无?这就像是一场跨越科技界的友谊赛,让我们...
安卓系统 扫码枪,安卓系统下扫... 你有没有想过,在繁忙的超市收银台,那些快速流畅的扫码操作,背后其实隐藏着一个小小的英雄——安卓系统扫...
平板插卡推荐安卓系统,安卓系统... 你有没有想过,你的平板电脑是不是也能像智能手机一样,随时随地扩充存储空间呢?没错,这就是今天我要跟你...
安卓系统固件安装失败,原因排查... 最近是不是你也遇到了安卓系统固件安装失败的问题?别急,让我来给你详细说说这个让人头疼的小麻烦,让你一...
ios系统和安卓区别,系统差异... 你有没有发现,现在手机市场上,iOS系统和安卓系统就像是一对双胞胎,长得差不多,但性格却截然不同。今...
安卓系统2.3优酷,优酷的崛起... 你有没有发现,安卓系统2.3时代的那股怀旧风?那时候,优酷可是视频界的巨头,多少人都是看着优酷长大的...
安卓导航系统密封,安卓导航系统... 你有没有发现,现在手机导航系统越来越智能了?尤其是安卓系统的导航,简直就像一个贴心的导航小助手,带你...
a版安卓11系统,a版深度解析... 你知道吗?最近手机界可是炸开了锅,各大品牌纷纷发布了搭载a版安卓11系统的手机。这可不是什么小打小闹...
安卓系统的模拟吉他,随时随地弹... 你有没有想过,在手机上也能弹奏吉他呢?没错,就是那种模拟吉他的安卓系统应用,让你随时随地都能享受音乐...
王者适配的安卓系统,深度解析适... 你有没有发现,最近玩《王者荣耀》的小伙伴们都在议论纷纷,说新出的安卓系统简直是为王者量身定做的!没错...
安卓系统自动定位关闭,隐私保护... 你有没有发现,手机里的安卓系统有时候会自动定位,这可真是让人又爱又恨啊!有时候,我们并不想让别人知道...
安卓系统电量耗尽测试,全面解析... 手机电量耗尽,这可是每个手机用户都头疼的问题。你有没有想过,你的安卓手机在电量耗尽前,到底经历了哪些...
如何升级车载安卓系统,车载安卓... 亲爱的车主朋友们,你是不是也和我一样,对车载安卓系统升级这件事充满了好奇和期待呢?想象当你驾驶着爱车...
安卓办公哪个系统好,深度解析哪... 你有没有想过,在安卓办公的世界里,哪个系统才是你的最佳拍档呢?在这个信息爆炸的时代,选择一个既强大又...
安卓系统差劲怎么解决,重拾流畅... 你有没有发现,安卓系统有时候真的让人头疼得要命?手机卡顿、应用崩溃、电池续航短,这些问题是不是让你抓...
喜欢安卓系统的原因,探索用户偏... 你有没有发现,身边的朋友、同事,甚至家人,越来越多的人开始使用安卓手机了呢?这可不是简单的潮流,而是...
安卓系统金立手机,品质生活新选... 你有没有发现,最近安卓系统下的金立手机突然火了起来?没错,就是那个曾经陪伴我们走过无数时光的金立手机...
无安卓系统的电视,新型无系统电... 亲爱的读者们,你是否厌倦了那些充斥着安卓系统的电视?想要尝试一些新鲜玩意儿?那就跟我一起探索一下无安...
麒麟系统能刷安卓系统吗,轻松刷... 你有没有想过,你的麒麟手机能不能装上安卓系统呢?这可是个让人好奇不已的问题。现在,就让我来带你一探究...
手机公司安卓系统吗,手机公司引... 你有没有想过,为什么你的手机里装的是安卓系统而不是苹果的iOS呢?这背后可是有着不少故事和门道的哦!...