通过迭代法由?y1,y2,...,yT?求出??1,?2,...,?T?整个序列：
?t?yt?????t?1 （49）
t?1,2,...,T，从?0?0开始。则第t个观测值的条件密度为：
fYtYt?1,Yt?2,...,Y1,?0?0?ytyt?1,yt?2,...,y1,?0?0;?????t2??fYt?t?1?yt?t?1;???exp?2?22???2??1则样本似然函数为
（50）
fYT,YT?1,...,Y1?0?0?yT,yT?1,yT?2,...,y1?0?0;???fY1?0?0?y1?0?0;???fYtYt?1,Yt?2,...,Y1,?0?0?ytyt?1,yt?2,...,y1,?0?0;??t?2T （51）
条件对数似然函数为
L????ln?fYT,YT?1,...,Y1?0?0?yT,yT?1,...,y1?0?0;????? （52） T?t2TT2 ??ln?2???ln?????222t?12?其中，利用（49）和观察值序列可以求出隐含的白噪声序列。但是条件似然函数仍然是非线性函数。需要使用数值解法求参数。 二．精确似然函数
y的观察值可以写成一个?T?1?向量y??y1,y2,...,yT??，均值μ???,?,...,???，方
差协方差?T?T?矩阵??E?Y????Y????，即
??1??2?????2????0??????0其似然函数
?02??2?1?????0??1????0?????0??0? （53）
???2?1??????0fY?y;????2??对?进行三角形分解
?T/2??1/2?1?exp???y??????1?y???? （54）
?2???ADA? （55）
其中
46
?1????1??2?0A????????0???1??2??0??2?D??0??????0??其似然函数为：
010?0?1???0?001??2??4??61??2??4?0000???1??2?1?????001??2??41??20?024?1??2?...??2?n?2???01??2??4?...??2?n?1??????0??0???0? （56） ?????1??????0??? （57） 0????242n?1?????...??2?n?1??2?1???...???fY?y;????2???T/2ADA??1/2?1?1?exp???y?????A??D?1A?1?y???? （58）
?2?由于A是下三角形矩阵，且主对角线元素为1，则A?1，且
ADA??ADA??D （59）
定义
??y?? （60） ??A?1?y??? 或Ayy则似然函数可以记为
fY?y;????2???T/2D?1/2?1??1??Dy?? （61） exp??y?2??1?y1??，第t行为 根据（60），系统的第一行意味着y?t?yt???y2?t?2?24???1?????....????1?????....??242?t?1??t?1 （62） y?可以看作yt关于常数项和y?1,yt?2,...,y1的?。y?1?y1??开始，迭代（62）求得向量y从y线性投影的残差。矩阵D的第t个主对角元素给出了线性投影的MSE：
1??2??4?...??2t????dtt?E?y （63） 2?t?1?241?????...??212因为D是对角矩阵，因此
47
D??dtt （64）
t?1T且通过D的主对角元素求倒数，可以得到D，从而
?1?t2y??Dy??? （65） y?1Tt?1dtt将（64）和（65）代入（61），得到
f?T?1/2Y?y;????2???T/2???d?ttexp????1t?1??2?Ty?2t?? t?1dtt?精确对数似然函数为
L????lnfy;????T1T1Ty?2tY?2ln?2???2?ln?dtt??? t?12t?1dtt第五节 高斯MA?q?过程的似然函数
一．条件似然函数
对于MA?q?过程
Yt????t??1?t?1??2?t?2?....??q?t?q 假设前q项的?全为零：
?0???1?.....???q?1?0 于是
?t?yt????1?t?1??2?t?2?....??q?t?q 其中t?1,2,...,T。令?0表示?q?1?向量
??0,??1,...,??q?1??。则当特征方程
1??21z??2z?...??qzq?0 的z值全落在单位圆外时，条件对数似然函数为：
L????lnfYT,YT?1,...,Y1?0?0?yT,yT?1,...,y1?0?0;??T ??Tln?2???Tln2?2t 22?????2t?12?其中θ???,?,?2,...,?q,?21??。
二．精确似然函数
其表达式为：
f2Y?y;????2???T/2??1/exp????12?y??????1?y?????? 66）
67）
68）
69）
70）
71） 72）
73）
48
（ （ （ （ （ （
（ （其中y??y1,y2,...,yT??且μ???,?,...,???。?表示MA?q?过程的方差协方差矩阵。其中
?的第i行、第j列的元素为?i?j。其中?k是MA?q?过程的第k阶自协方差：
2?????k??k?1?1??k?2?2?...??q?q?k?k?0,1,...,q （74） ?k??0k?q??令A是下三角形矩阵，且主对角线元素为1， A?1；D是对角矩阵。则利用三角形分解方法??ADA?，得到精确的对数似然函数：
?t2T1T1TyL????lnfY?y;????ln?2????ln?dtt??? （75）
22t?12t?1dtt?的元素可运用递归法得到： 其中y?1?y1??y?2??y2????a21y?1y?3??y3????a32y?2?a31y?1y??t??yt????at?t?1?y?t?1?at?t?2?y?t?2?...?at?t?q?y?t?qy （76）
?1?a?21?a31???A??a??q?1?1?0??????001a32?a?q?1?2a?q?2?2?0001?????000?00?a?q?1?3?a?q?2?3??0??aT?T?1?0?0??0????0? （77） ?0?????1??dtt为矩阵D的对角线上的元素。
第六节 高斯ARM?A,p?过程的似然函数 q对于高斯ARMA?p,q?过程
Yt?c??1Yt?1??2Yt?2?....??pYt?p??t??1?t?1?...??q?t?q （78）
22其中?t?iidN0,?。总体参数向量为θ?c,?1,?2,...,?p,?1,?2,...,?q,?。
????自回归过程的似然函数的近似以y的初始值为条件，移动平均过程似然函数的近似以?的初始值为条件。ARMA?p,q?过程以y和?的初始值为条件。
49
假设初始值y0?y0,y?1,...,y?p?1???和ε???,?00?1,...,??q?1??给定，则利用实现
?y1,y2,..,yT?，迭代得到：
?t?yt?c??1yt?1??2yt?2?...??pyt?p??1?t?1??2?t?2?...??q?t?q （79）
可得t?1,2,....,T的序列??1,?2,..,?T?。则条件似然函数为：
L????lnfYT,YT?1,...,Y1Y0,ε0?yT,yT?1,...,y1Y0,ε0;θ?T?t2TT2??ln?2???ln?????222t?12? （80）
第七节 极大似然估计的统计推断
一。 极大似然估计的标准差
如果样本量T足够大，则极大似然估计?近似表示为：
???N?θ,T?1??1? （81） θ0其中θ0代表真实参数向量。矩阵?称为信息矩阵。信息矩阵的二阶导数估计为
???T其中L???为对数似然函数：
??1?2L???????????? （82）
L?????lnfYT?t?1?yt?t?1;θ? （83）
t?1T?t?1表示t时刻y的所有历史观测值。利用数值方法可以计算出对数似然函数的二阶导数。
（82）代入（83），得到
?1E???0二．似然比检验
????2?????L??????0??????? （84）
?????????假设原假设：参数向量?中存在m个限制（例如某些系数等于零）。首先求出无限制极大似然估计；在求出存在限制情况下的极大似然估计。令L?表示无限制对数似然函数。
??????，检验统计量为： L?表示限制对数似然函数。明显L??L????????????2?m? （85） ?2L??L???????利用显著性检验法和置信区间法可以对原假设进行检验。 三．拉格朗日乘子检验
50