非参数-第八章

2020-04-17 21:50

第八章 相关分析

变量之间的相关程度用相关系数度量,最常用的相关系数是Pearson矩相关系数。它广泛地用于回归与相关分析问题,但这个相关系数有它的局限性。下面列举它的两个局限性。

①矩相关系数可用来检验变量之间是否独立,并有检验的临界值表供使用。事实上,这个检验方法属于参数数据分析方法,它的临界值表是在变量服从正态分布的假设下制作的。如果正态分布的假设有疑问,其检验结果显然不可信,甚至可能是错的。所以有必要引入非参数型的度量变量之间相关程度的统计量,以及检验变量之间是否相互独立的非参数方法。

② 关于相关性一般来说有下面两个定义。

第一个定义给出的是线性相关性。若存在常数?和正常数?,使得Y????X??,其中?是随机误差(通常假设?~N(0,?2),或E(?)?0,D(?)??2),则称变量X与Y线性正相关。若?是负常数,则称变量X与Y线性负相关。

第二个定义给出的是通常意义下的相关性。当X增加时Y有增大的趋势,则称变量X与

Y正相关。当X增加时Y有减少的趋势,则称变量X与Y负相关。显然,若变量X与Y线

性正相关,则当X增加时Y有增大的趋势。而若X与Y线性负相关,则当X增加时Y有减少的趋势。所以线性相关性隐含着相关性。反之不一定成立。

矩相关系数用来度量变量之间的线性相关性。当变量X与Y的矩相关系数的绝对值比较小的时候,只是说X与Y之间没有线性相关关系,并不能说当X增加时Y没有增大或减少的趋势。在X与Y的矩相关系数接近0的时候,有可能存在这样一个严格单调上升或下降的函数g(?),使得g?X?与Y的矩相关系数接近1或接近?1。这就是说g?X?与Y之间有线性相关关系。所以有可能存在这样一种情况,X与Y之间没有线性相关关系,但g?X?与

Y之间有线性相关关系。这说明在X与Y的矩相关系数接近0的时候,当X增加时Y仍可

能有增大或减少的趋势。由此可见,变量X与Y的矩相关系数只能用来度量它们之间的线性相关性,不能用来度量它们之间的相关性。很自然地,人们希望有这样一个统计量,可以用来度量变量之间的相关性,并且用它度量X与Y的相关程度得到的度量值等于用它度量

g?X?与Y的相关程度得到的度量值,其中g(?)为任意一个严格单调上升的函数。

本章§8.1介绍的Spearman秩相关系数和§8.2介绍的Kendall–?相关系数都是非参数型的,都可以用来度量变量之间的相关性,并且X与Y之间这两个相关系数值分别等于

135

g?X?与Y之间这两个相关系数值,其中g(?)为任意一个严格单调上升的函数。本章§8.3介

绍Kendall协和系数,它是Spearman秩相关系数的推广。

§8.1 Spearman秩相关系数

最为著名的秩方法是1945年F.Wilcoxon提出的秩和检验,而1904年C.Spearman提出的秩相关系数是秩方法的开始。 §8.1.1 秩相关系数的计算过程

设有成对数据

?x1??x2??xn??????,,?,?y??y??y?? (8.1) ?1??2??n?它的秩相关系数的计算过程如下:

① 记xi在?x1,x2,?,xn?中的秩为Ri,yi在?y1,y2,?,yn?中的秩为Qi,

i?1,2,?,n。为简化讨论,不妨假设在x1,x2,?,xn,以及在y1,y2,?,yn中都没有重

复的观察值,则Ri?1,2,?,n,Qi?1,2,?,n。Spearman秩相关系数的基本思想就是用

Ri和Qi分别代替xi和yi,构造一个新的成对数据

?R1??R2??Rn??????Q?,?Q?,?,??Q?? (8.2) ?1??2??n?② 计算成对数据(8.2)的矩相关系数

n?R?R?Q?Q?ii?1in?R?R??i?1i2rs????2nQ?Q?i?1i?

nn其中R??i?1Rin??n?1?2,Q??i?1Qin??n?1?2。由于

n?R?R??nQ?Q?i?i?1i?1i2??2?n?n2?1?12

(8.3)

所以

rs?nRQ?3n?n?1?212?i?1iin(n?1)2称rs为成对数据(8.1)的秩相关系数。显然,在g(?)为严格单调上升函数时,

?x1??x2??xn??g?x1???g?x2???g?xn?????????????与,,?,,,?,?y??y??y??y??y??y?? ?1??2??n??1??2??n?的秩相关系数相等,所以秩相关系数可用来描述两个变量有没有同时上升(下降),或一个上升、一个下降的趋势。

136

例8.1 设有成对数据

?7??1???17.5??,??1.5??,?????3???17??,???8??2??6??9??5??4???6??,??2??,??5??,??18??,??4??,??3?? ????????????它的矩相关系数rm?0.5209。假设这个成对数据的总体为?X,Y?。由矩相关系数检验临界值表知,在n?9时5%和1%的临界值分别为0.666和0.798,所以我们认为X与Y没有线性相关性,它们相互独立。事实上,从这批数据的散点图(见图8.1)看,它们似乎正相关,当X增加时Y有增大的趋势。正如我们前面所说的,矩相关系数检验是基于总体?X,Y?服从正态分布的假设,在不能确定总体是否服从正态分布时,采用矩相关系数作检验是不妥的。我们应考虑使用非参数方法。经计算,这个成对数据的秩相关系数rs?0.8。秩相关系数比较大,但它有没有大到我们可以认为X与Y正相关?这就是下面将要讨论的秩相关系数的检验问题。

201816141210864200246810

图8.1 散点图

§8.1.2 秩相关系数检验

设成对数据(8.1)为独立同分布的样本。不妨假设它们的总体?X,Y?是连续型随机变量,在x1,x2,?,xn,以及在y1,y2,?,yn中都没有重复的观察数据。记xi在?x1,x2,?,xn?中的秩为Ri,Ri?1,2,?,n;记yi在?y1,y2,?,yn?中的秩为Qi,Qi?1,2,?,n。X与

Y之间独立还是相关的检验问题的原假设和备择假设分别为

H0:X和Y相互独立,H1:X和Y正相关,或H1:X和Y负相关

137

取成对数据(8.1)的秩相关系数rs为检验统计量。由(8.3)式知,秩相关系数rs的性质与

nRQ有关。下面首先讨论nRQ的性质,然后由它导出秩相关系数r的性质。 ?i?i?1iis?1ii在我们所讨论的众多性质中,最为关键的是下面这一个性质。

nRQ与niQ同分布: 性质8.1在原假设为真,即X与Y相互独立时,?i?i?1i?1iinRQ??niQ (8.4) ?iii?1?1iid从而由(8.3)式知,秩相关系数rs与~rs同分布,其中

~rs?12?in?1iQi?3n?n?1?2n(n?1)2

nRQ在R?i,(i?1,?,n)时的特殊情况。Ri?i,(i?1,?,n)意显然,?in?1iQi是?ii?1ii味着x1?x2???xn,所以性质8.1我们可以用下面这样的方式去理解。首先把原本的成对数据?x1,y1?,?x2,y2?,?,?xn,yn?一对一对地相互交换重新排列,使得x1?x2???xn。这相当于将?R1,Q1?,?R2,Q2?,?,?Rn,Qn?一对一对地相互交换重新排列,使得

nRQ?niQ。 Ri?i,(i?1,?,n)。相互交换重新排列后的成对数据的?i?1ii?i?1i对例8.1的成对数据来说,一对一对地相互交换重新排列后的情况为

?1???1.5??,???2???2??,???3???17??,???4???3??,???5???4??,???6???5??,???7???17.5??,???8??9???6??,??18?? ????n由例8.1的成对数据算得的?i?1RiQi?273,而由重新排列后的成对数据算得的

?in?1RiQi??in?1iQi仍等于273。

nRQ与相互交换重新排列后的成对数据的既然原本的成对数据的?i?1iinRQ?niQ是相等的,所以性质8.1得到证明。事实上,这个证明方法是有问题的。?i?1ii?i?1inRQ与niQ同细心的读者会发现,这样的证明方法并没有用到性质8.1所说的,?i?i?1i?1ii分布成立的前提条件:原假设为真,即X与Y相互独立。性质8.1并没有就此得到证明。性质8.1的证明见附录16。

nRQ的分布的性质与niQ的分布的性质相同。由于nRQ由性质8.1知,?i?i?1i?i?1ii?1iin与R1,R2,?,Rn和Q1,Q2,?,Qn都有关系,而?i?1iQi仅与Q1,Q2,?,Qn有关系,所以nn研究?i?1iQi的分布的性质比研究?i?1RiQi的分布的性质容易得多。下面我们就首先研究

~?in?1iQi的分布的性质,然后导出rs的分布的性质,进而得到秩相关系数rs的分布的性质。

138

nn在前面几章秩是用字母“R”来表示的。为了相互衔接并考虑到?i?1iQi与?i?1iRi同分布,

niR的分布的性质。 我们转而研究?i?1i① 概率分布

由于?R1,R2,?,Rn?服从均匀分布:

P(R1?r1,R2?r2,?,Rn?rn)?1n!

其中(r1,r2,?,rn)是(1,2,?,n)的任意一个排列,所以有

P?in?1iRi?d?Sn?d?n! (8.5)

其中

??Sn?d??#??r1,r2,?,rn?:?in?1iri?d,?r1,r2,?,rn?是?1,2,?,n?的一个排列?

n然后由(8.4)式知,在原假设为真,即X与Y相互独立时,P?i?1RiQi?d?Sn?d?n!。从

??而由(8.3)式我们得到了秩相关系数rs的下一个性质。

性质8.2在原假设为真,即X与Y相互独立时,秩相关系数rs的概率分布律为

?12d?3n(n?1)2?Prs??n(n2?1)???12d?3n(n?1)2??P?~r??s?n(n2?1)???? ???P?in?1RiQi?d

?Sn?d?n!,d?n(n?1)(n?2)6,?,n(n?1)(2n?1)6

n显然,在(R1,R2,?,Rn)?(1,2,?,n)时,?i?1iRi达到最大值,其最大值为

??12?22???n2?n(n?1)(2n?1)6

这时~rs达到最大值,最大值为1;在(R1,R2,?,Rn)?(n,n?1,?,1)时,?in?1iRi达到最小值,其最小值为

1?n?2?(n?1)???n?1?n(n?1)(n?2)6

rs同分布,所以rs的取值范围也是从?1到1,这时~rs达到最小值,最小值为?1。由于rs与~并且在Ri?Qi(i?1,2,?,n),即在x1,x2,?,xn与y1,y2,?,yn同步上升或下降时,rs达到最大值1;在Ri?n?1?Qi(i?1,2,?,n),即在x1,x2,?,xn与y1,y2,?,yn一

139


非参数-第八章.doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:INTP人格类型剖析—INTP必读

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: