三．高斯AR?1?过程精确极大似然函数
理论上，对方程（14）求导并令导数为零，就可得到参数向量?。而在实践当中，往往得到的?是?y1,y2,...,yT?的非线性方程。此时求解需要非线性规划求解方法，如格子搜索、最速下降法、牛顿-拉夫森方法等数值优化方法。 四．条件极大似然（MLE）函数
如果将y1的值看作确定性的，然后最大化以第一个值为条件的似然值，这种方法称为条件极大似然函数。此时最大化目标为：
2L?????T?12ln?2???T?1T2ln??2????yt?c??yt?1? t?22?2求（23）最大时的c,?等价于最小化：
?T?yt?c??y2t?1? t?2此时采取yt对其滞后值的OLS回归得到。因此c,?的条件似然估计由下式给出??1?c???T?1?yt?1???????????y??yt?t?1y2??? t?1???yt?1yt?其中?表示对t?2,3,...,T求和。
（23）对?2
求导并等于零，可求得扰动项的条件似然估计：
2?T?1T2?2???yt?c??yt?1?4?0 t?22?整理得到：
?2?2T???yt?c??yt?1?t?2T?1 即?2
得极大似然估计量是最小二乘估计量残差的平方。
条件极大似然估计的特点： 1． 易于计算。
2． 样本量T足够大，则第一个观测值的影响可以忽略。
3． ??1，则精确极大似然估计和条件极大似然估计具有相同的大样本分布。4． ??1，条件MLE是一致估计。
第三节 高斯AR?p?过程的似然函数
一．计算似然函数
23） 24）
25） 26） 27）
41
（ （
（ （ （ 对于高斯AR?p?过程
Yt?c??Yt?1??2Yt?2?....??pYt?p??t （28）
22其中?t?iidN0,?。总体参数向量为??c,?1,?2,...,?p,?。
????样本y1,y2,...,yp中的前p个观察值合成一个?p?1?向量yp，可以看作p维高斯变量的一个实现。向量的均值为?p，为?p?1?向量，其元素为
????c/?1??1??2?...??p? （29）
令?2Vp表示Y1,Y2,...,Yp的?p?p?方差协方差矩阵：
2?E?Y1???E?Y1????Y2????2?E?Y????Y???EY????212?2V???????E?Yp????Y1???E?Yp????Y2?????1??p?1???0??????10p?2? ???????????????p?20??p?1????E?Y1????Yp??????E?Y2????Yp?????????2?（30） ?E?Yp????2前p个观察值的密度是一个N?p,?Vp变量的密度：
??fYp,Yp?1,...,Y1?yp,yp?1,...,y1;????2????2???p/2??2Vp?1??p?p/2?1?exp??2?yp??p??Vp?1?yp??p?? （31）
?2???1??11/2Vpexp??2?yp??p??Vp?1?yp??p???2??1/2样本中剩下的观察值为yp?1,yp?2,...,yT。以前t?1个观察值为条件，第t个观察值为
2高斯的，其均值为c??1yt?1??2yt?2?....??pyt?p，方差为?。当t?p时，其概率密度为
??fYtYt?1,Yt?2,...,Y1?ytyt?1,...,y1;???fYtYt?1,Yt?2,...,Yt?pytyt?1,...,yt?p;????y?c??y??y?....??y?2?1t1t?12t?2pt?p??exp?2??2?2??2??全样本似然函数为
?? （32）
42
fYT,Yt?1,...,Y1?yT,yT?1,...,y1;??T （33）
?fYp,Yp?1,Yp?2,...,Y1?yp,yp?1,...,y1;????fYtYt?1,Yt?2,...,Yt?pytyt?1,...,yt?p;?t?p?1??对数似然函数L???为
L????ln??fYT,YT?1,Yt?2,...,Y1?yT,yT?1,...,y1;??????p2ln?2???p2ln??2??12lnV?11p?2?2?yp??p??V?1p?yp??p? ?T?pT?yt?c??1yt?1?....??2pyt?p?2ln?2???T?p2ln??2??t??p?12?2 ??T2ln?2???T112ln??2??2lnV?1p?2?2?yp???1p??Vp?yp??p?T2 ??yt?c??1yt?1??2yt?2?....??pyt?p?t??p?12?2其中将对称矩阵V?1p的第i行，第j列元素记作vij?p?：
ij?i?1p?i?jv?p???????k?k?j?i?k?0k???k?k?j?i? 对于1?i?j?p p?1?j?其中?0??1。
例 AR?1?过程
解：V?1p是一个标量，令i?j?p?1，则
V?1?011??????k?k???k?k????220??1???1??2?
k?0k?1?所以，?2V221??/?1???。
例 AR?2?过程 解：p?2，此时
V?1??1??22????1??1?2?????1??1??2???1?2???????2??2??1??1?2??1??2??????1?1??? 2??因此
V?12222??1??2????1??2???1??
34）
35）
43
（ （?y2??2??V2?1?y2??2???y1????1??2?y2????1??2?????1??1??y1??????1??2????y2???2
??1??2??1??2??y1????2?1?y1????y2?????1??2??y2???于是AR?2?过程的精确对数似然函数为：
?2?L?????TT122ln?2???ln??2??ln?1??2???1??2???12???222?1??2?1??1??y??2?2?y??y???1??y??2 ??2??2??1???2??2??2?1?12?2??????
??t?3T?yt?c??1yt?1??2yt?2?2?22其中??c/?1??1??2?。 二．条件最大似然函数
以前p个观察值为条件的对数似然函数为：
L???yt?c??1yt?1?....??pyt?p? （36） ?T?pT?p2??ln?2???ln?????222?2t?p?1T2求c,?1,?2,...,?p使得（36）最大化问题转变为最小化：
t?p?1??y?c??yt1Tt?1??2yt?2?....??pyt?p? （37）
2利用最小二乘回归得到这些参数的条件最大似然估计。?的条件极大似然估计为最小二乘回归残差的平方：
T??1?????yt?c??1yt?1??2yt?2?....??pyt?pT?pt?p?12
?2??2 （38）
三．非高斯时间序列的极大似然估计（拟极大似然估计）
????1. 如果过程非高斯的，使用高斯对数似然函数得到的估计c,?1,?2,...,?p为总体参数的一
??致估计。
2． 拟极大似然估计得到的系数的标准差不正确。 四．AR?p?过程的Yule-Walker估计
AR?p?模型的自回归系数?由AR?p?模型的自协方差函数?0,?1,...,?p通过由拉沃克
44
方程
?1??1???0??????0?2???1????????????p?????p?1?p?2确定。白噪声的方差?
2
??p?1???p?2?? （39） ??????0???2??0???1?1??2?2?...??p?p? （40）
从样本观测值x1,x2,...,xN可以构造出样本自协方差函数的估计：
1?k?N?N?kj?1?yyjj?kp , （41） k?0,1,...因此根据自协方差函数的估计，可以联合求解除系数估计量。
第四节 高斯MA?1?过程的似然函数
一．条件似然函数
对于高斯MA?1?过程
Yt????t???t?1 （42）
22其中?t?iid N0,?。θ??,?,?表示要估计的总体参数。如果?t?1已知，则
????Yt?t?1?N??????t?1?,?2? （43）
其概率密度函数为：
???yt?????t?1?2?fYt?t?1?yt?t?1;???exp?? （44） 222?2??????1如果已知?0?0，则
Y1?0?N??,?2? （45）
给定观察值y1，则?1就是确定的
?1?y1?? （46）
代入（44），得到
???y2?????1?2?fY2Y1,?0?0?y2y1,?0?0;???exp?? （47） 222?2??????1因为?1确知，?2可由下式求出：
?2?y2?????1 （48）
45