Chapter1 线性回归模型的OLS估计(3)

2020-04-14 01:17

SSE/(T?k?1)T?1SST?SSR?1?()()SST/(T?1)T?k?1SST 1.47

T?1??????1?()(1?R2)T?k?1R2?1?当在模型中增加解释变量时,SSE将减小,同时 T- k - 1也减小。从而使SSE的减小量得到一定补偿。通常R2的值比R 2小。有时还会出现取负值的情况。

增加新的解释变量时,R2可能会增加,也可能会降低。这取决于新的解释变量对y的解释能力。

结论3:增加解释变量时,调整的可决系数的变化。如果新增加的变量的t统计量大于(小于)1,则模型的调整的可决系数会增加(下降)。

4. 非中心化的R2

?的均值不一定为0,y与y?的均值也不一定相同。因此,等当模型中没有常数项时,u式SST = SSR + SSE不一定成立,即总离差平方和(SST)不能分解为回归平方和(SSR)与残差平方和(SSE)两部分。这时R2可能会出现负值或者大于1的情况。这时可采用非中心化的拟合优度。我们知道,(2.44)式总是成立的,即y的平方和恰好分解为拟合值的平方和与残差平方和。定义非中心化的可决系数为:

Ru2??'y?(Py)'(Py)y(My)'(My)??1? 1.48 y'yy'yy'y对比可决系数与非中心化的可决系数可以看出,如果模型中存在常数项,当y的均值为0时,二者是完全相同的。

对y进行线性变换y*=by,则Ru2不变。即,y由以米为单位变为以厘米为单位,或者以公斤为单位变为以斤为单位不会改变Ru2。如果对y进行线性变换y*=al+y,则Ru2会发生相应的变化。

al?y?P(al?y)?M(al?y)?al?Py?My?'y?(al?Py)'(al?Py)y(My)'(My) Ru2???1?y'y(al?y)'(al?y)(al?y)'(al?y)X中不包括常数项。当a增加时,Ru2也随之增加。因此,当模型中包含常数项时,如果常数项比较大,则Ru2会比较高。但Ru2更多地是由常数项带来的,并没有直观的经济意义。

因此,在解释模型的可决系数或非中心化的可决系数时,首先要明确Ru2的计算方法及其可能存在的问题,避免对模型的错误解读。 例 1.3计算例1.1的方差分析表及R2等指标。

. regress ceosal ret

例 1.4计算例1.2的方差分析表及R2等指标。

. regress wage educ exper expersq age

1.3.2 整个方程的显著性检验

假定4:随机误差项服从正态分布。

当检验被解释变量yt与一组解释变量x1, x2 , ... , xk是否存在回归关系时,给出的零假设与备择假设分别是

H0:?1 = ?2 = ... = ?k = 0 ; H1:?i, i = 1, ..., k不全为零。 检验思路: 无约束模型为:

yt = ?0 +?1x1t + ?2x2t +…+ ?kx k t + ut , (a)

受约束模型:

yt = ?0 + vt (b)

如果原假设成立,那么模型(a)中的参数?1, …, ?k均不显著,模型(a)与模型(b)的残差平方和近似相等。如果备择假设成立,那么模型(a)中至少有一个变量是显著的,而模型(b)中的随机扰动项ut包含了这些显著性的变量,因此模型(b)的残差平方和会明显高于模型(a)的残差平方和。

模型(a)的残差平方和表示为SSEU(其中U表示没有约束(Unrestricted))

T????x?????x)2 SSEU??t?1(yt??011tkkt模型(b)的残差平方和表示为SSER(其中R表示带有约束(Restricted))

T?)2 SSER??t?1(yt??0因此,可以根据残差项方差的变化来检验假设是否是正确的。如果(SSER - SSEU)比较大(小),则倾向于拒绝(接受)原假设。正式的统计检验是通过构建如下F统计量来完成的。

F?(SSER?SSEU)/k 1.49

SSEU/(T?k?1)在H0成立条件下,有

F ? F(k, T – k – 1)

由检验思路可以看出,F统计量越大(小),我们越倾向于拒绝(接受)原假设。因此,这是右单端检验。检验可以临界值方法和构建p值的方法来完成。设检验水平为?,检验规则如下。

1. 临界值法:若F ? F? (k, T – k – 1),则接受H0;若F > F? (k, T – k – 1),则拒绝H0。 2. P值法:若P(x > F ) > α,接受H0;若P(x > F ) < α,,拒绝H0。

拒绝H0意味着肯定有解释变量与yt存在回归关系。若F检验的结论是接受H0,则说明k个解释变量都不与yt存在回归关系。此时,假设检验应该到此为止。当F检验的结论是拒

绝H0时,应该进一步做t检验,从而确定模型中哪些是重要解释变量,哪些是非重要解释变量。

??y,因此,检验统计量还可以写为另外一种形式。约束模型(b)中的?0估计量为?0其残差平方和又等于离差平方和SST。因此,F统计量又可以写为:

F?(SSER?SSEU)/k(SST?SSEU)/kSSRU/k?? 1.50

SSEU/(T?k?1)SSEU/(T?k?1)SSEU/(T?k?1)其中,SSRU表示无约束模型的回归平方和。

注:当模型中没有常数项时,Stata输出的R2为非中心化R2;而F统计量也是基于非中心化的F统计量,即(SSR/k)/[SSE/(n-k)]。

思考题:证明,在一元回归模型中,F统计量与t统计量存在关系:F=t2? 1.3.3

单个回归参数的约束检验

当F检验拒绝H0时,并不见得每个解释变量都对yt有显著的解释作用(即不见得每一个都是重要解释变量),所以还应对每个解释变量的系数进行显著性检验。检验统计量为:

???*)s(??) 1.51 tj?(?jjj结论:在基本假定1~4的条件下,上式中的t统计量服从(N-K-1)个自由度的t分布。 证明:tj????*?jj?(X'X)?2?1jj????*?jj?2?1jj?(X'X)2?2?

令zj????*?jj1?2(X'X)?jj?~Normal[β,?2(X'X)?1]可知,z~Normal(0,1)。~Normal(0,1),由β jtj?zj?/??22?zj?u?(u'?/2)N/?(K? 1.52

1)?'u?/?2)~?(2N?K?1),并且与zj独立的话,就可以证明上述结论。 如果(u?'u?u?2?u'Mu?2?u'?Mu? 1.53

根据概率统计中的两个基本结论:

2(1)如果向量x~N(0,In),A为幂等矩阵,则x'Ax~?Rank(A),即自由度为矩阵A的秩;

(2)如果A为幂等矩阵,则Rank(A)=Trace(A) 以及基本假定u~N(0,?2I),可得:

u'u/?2~?(2N?K?1)

?'u?/?2的自由度为N-K-1。 由M?I?X?X'X???X'可得Trace(M)=N-K-1。因此,u??β??X'X???X'u及u??Mu,可得, 由β?,u?|X)?E[?X'X???X'uu'M|X]cov(β??X'X???X'E[uu'|X]M???X'X?X'[I?X?X'X?X']?02???? 1.54

???*)s(??)~t综上所述,可得到结论:tj?(?jjj(N?K?1)

检验的判别方法与简单线性模型的完全相同,此处不予赘述。 1.3.4

线性约束检验

与整个方程的显著性相类似,如果仅对其中部分变量的联合显著性进行检验,也可以按照相同的思路利用F检验来进行。将所有的解释变量分解为两部分,X1=(1, x1, x2, …, xJ)和X2 = (xJ+1, …, xK)。模型重新表述为:

y = X1β1 + X2β2 + u 1.55

其中,共有K个变量,其中X1含有K1个变量,X2含有K2个变量,K= K1+ K2。

原假设与备择假设分别是H0:β2 =0;H1:β2 ≠0。 无约束模型为:

y = X1β1 + X2β2 + u 1.56

受约束模型为:

y = X1β1 + u 1.57

如果原假设成立,则无约束模型的残差平方不能明显地提高模型的解释能力;如果备择假设成立,能无约束模型应明显地降低受约束模型的残差平方和。F统计量为:

22(SSER?SSEU)/K2(RU?RR)/K2F?? 1.58 2SSEU/(T?K)(1?RR)/(T?K)在H0成立条件下,有

F ? F(K2, T – K – 1)

判断规则与整个方程的判断规则完全相同。

例 1.5 在例1.2中,利用F统计量检验变量educ、tenure的联合显著性

. test educ exper

1.3.5 多个变量的显著性检验-LM检验

拉格朗日乘子检验是检验多个变量联合显著性的另外一种常用方法。其基本思路如下。在无约束模型中,随机扰动项u与X2不相关。如果原假设成立,利用受约束模型得到的残?与X2也不相关。但如果原假设不成立,利用受约束模型得到的残差项u?与X2就会出差项u现高度相关。LM检验步骤如下。

?; Step1:回归受约束模型,提取残差项u??α1X1?α2X2?v,记其拟合优度为Ru2; Step2:利用OLS方法回归辅助方程:u2Step3:LM统计量(也称为得分统计量)为:LM?NRu2~?K。

2?与X1是正交的,也要把X1放在模型中;需要注意的是,(1)在辅助回归方程中,虽然u否则,检验统计量不再渐进服从卡方分布。(2)常数项包含在X1中,如果X1中不包含常数?为0均值,因此,X1包含常数项的时项,则Ru2采用非中心化的可决系数。事实上,因为u候,可决系数与非中心化的可决系数是相同的。 1.3.6

线性约束的F检验

线性约束检验是指检验回归系数的某个或某几个线性组合。对于模型

y = X1β1 + X2β2 + u 原假设形式为:

H0:Rβ?q

其中,R为J×K矩阵,J表示对K个参数的J个线性约束。

对于上述原假设构建F统计量

??q)'[R(X'X)?1R'](Rβ??q)/J(Rβ 1.59 F??'u?/(N?K)u结论:假定1~4成立,如果原假设成立,则上述F统计量服从自由度为(J,N-K)的F分布。

证明:将F统计量写为:

??q)'[?2R(X'X)?1R']?1(Rβ??q)/J(Rβ 1.60 F?2?'u?/?)/(N?K)(u??q)'[?2R(X'X)?1R']?1(Rβ??q)。?'u?/?2~?(2N?K)。令w?(Rβ前文已经证明u现在只需要证明w

?'u?/?2相互独立即可。 服从卡方分布,且与u??q,如果原假设成立,则v?Rβ??q?Rβ??(Rβ)?R(β??β)。其期望和方差令v?Rβ分别为:

??β)]?0 E(v)?E[R(β


Chapter1 线性回归模型的OLS估计(3).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:2018-2024年中国液晶显示器行业深度调研报告(目录) - 图文

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: