在时间序列分析中，序列的总体分布通常是未知的。为了便于分析和计算，通常假设序列服从多元正态分布，它的联合密度函数是可导的。在求极大似然估计时，为了求导方便，常对似然函数取对数，然后对对数似然函数中的未知参数求偏导数，得到似然方程组。理论上，只要求解似然方程组即可得到未知参数的极大似然估计。但在实际上是使用计算机经过复杂的迭代算法求出未知参数的极大似然估计。
两种估计的比较：
矩估计的优点是不要求知道总体的分布，计算量小，估计思想简单直观。但缺点是只用到了样本自相关系数的信息，序列中的其他信息被忽略了，这导致估计精度一般较差。因此，它常被作为极大似然估计和最小二乘估计的迭代计算的初始值。
极大似然估计的优点是充分应用了每一个观察值所提供的信息，因而它的估计精度高，同时，还具有估计的一致性、渐近正态性和渐近有效性等优良统计性质，是一种非常优良的参数估计方法。
（3）参数的最小二乘估计
使ARMA(p,q)模型的残差平方和达到最小的那组参数值：
通过计算机借助迭代方法求出。由于充分利用了序列的信息，该方法估计精度最高。
在实际运用中，最常用的是条件最小二乘估计，假定时间序列过
去未观察到序列值等于序列均值，可得到残差的有限项表达式：
于是残差平方和达到最小的那组参数值为：
5. 模型和参数的显著性检验
ARMA(p,q)模型中，使用QLB统计量检验残差序列的自相关性，为了克服DW检验的有偏性，Durbin在1970年提出了修正的Durbin h统计量：
2其中，n为观察值序列的长度，??为延迟因变量系数的最小二乘估计
的方差。
参数的显著性检验是要检验每一个模型参数是否显著非零。若某个参数为零，模型中包含这个参数的乘积项就为零，可以简化模型。因此，该检验的是为了精简模型。
原假设H0：某未知参数βj=0；H1：βj≠0. 可以构造出检验未知参数显著性的t(n-m)检验统计量，其中m为参数的个数。
6. 模型优化
当一个拟合模型在置信水平α下通过了检验，说明了在该置信水平下该拟合模型能有效地拟合时间序列观察值的波动。但是这种有效的拟合模型并不是惟一的。
如果同一个时间序列可以构造两个拟合模型，且两个模型都显著有效，那么应该选择哪个拟合模型用于统计推断呢？通常采用AIC和SBC信息准则来进行模型优化。 （1）AIC准则——最小信息量准则
由日本统计学家赤池弘次（Akaike）于1973年提出，是一种考评综合最优配置的指标，它是拟合精度和参数未知个数的加权函数：
AIC=－2ln(模型中极大似然函数值)+2(模型中未知参数个数)
使其达到最小值的模型被认为是最优模型。
（2）BIC/SBC准则
AIC准则的不足：若时间序列很长，相关信息就越分散，需要多自变量复杂拟合模型才能使拟合精度比较高。在AIC准则中拟合误
??2)，即随样本容量n增大，但模型参数个数的惩罚因子差等于nln(?（始终=2）却与n无关。因此在样本容量n趋于无穷大时，由AIC准则选择的拟合模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多。
为了弥补AIC准则的不足，Akaike于1976年提出BIC准则。而Schwartz在1978年根据贝叶斯理论也得出同样的判别准则，称为SBC准则。SBC准则定义为：
SBC=－2ln(模型中极大似然函数值)+ln(n)(模型中未知参数个数)
即将未知参数个数的惩罚权重由常数2变成了ln(n)。在所有通过检验的模型中使得AIC或SBC函数达到最小的模型为相对最优模型（因为不可能比较所有模型）。
7. 模型预测
即利用时间序列已观察到的样本值对时间序列在未来某个时刻的取值进行估计。常用的预测方法是线性最小方差预测。
根据ARMA(p,q)模型的平稳性和可逆性，可以用格林函数的传递形式和逆转函数的逆转形式等价描述该序列：
右式代入左式得：
??????xt??Gi??Ijxt?i?j????GiIjxt?i?j??Cixt?1?i
i?0i?0?j?0?i?0j?0?可见，xt是历史数据xt-1, xt-2, …的线性函数。
对于任意一个将来时刻t+l，也可以用上式预测，但xt+l-1, …, xt+1
未知。根据线性函数的可加性，所有未知信息都可以用已知信息的线性函数表示出来，并用该线性函数进行估计：
?t?l来衡量预测误差，最常用的预测原则是预测误差的用et(l)?xt?l?x方差最小法：
?t?l是在序列xt, xt-1, …已在线性预测方差最小法下得到的估计值x知的情况下得到的条件无偏最小方差估计值。且预测方差只与预测步长l有关，而与预测起始点t无关。
预测步长l越大预测值的方差越大，因此只适合于短期预测。在
?t?l的1-α的置信区间为： 正态假定下，估计值x
（二）ARIMA模型——混和自回归移动平均模型
一、原理
也称Box-Jenkins模型，用来处理单变量同方差的非平稳时间序列，通过差分法或适当的变换转化为平稳序列，再使用ARMA模型。 注：残差的条件方差是异方差的时间序列，适合用GARCH模型。 ARIMA(p,d,q)模型的形式如下：
?(B)?dxt??(B)?t 或 ?dxt=d其中，?d?(I?B）为d阶差分，
?(B)?t ?(B)
为平稳可逆ARMA(p,q)模型的自回归和移动平均系数多项式。
可见，ARIMA模型的实质就是差分运算与ARMA模型的组合。任何非平稳序列只要通过适当阶数的差分实现平稳，就可以对差分后序列进行ARMA模型的拟合了。
d阶差分后的序列可表示为：
i其中，Cd为组合数，即d阶差分后序列等于原来序列的若干序列值
的某种加权和。