二、MA(q)模型——q阶移动平均模型
1. 模型：
其中，?q?0，随机干扰序列?t为0均值、??2方差的白噪声序列（E(?t?s)?0, t≠s）。
若μ=0，称为中心化的MA(q)模型，非中心化的MA(q)模型可以通过xt*?xt??转化为中心化。
记B为延迟算子，?q(B)?I??1B????qBq称为q阶自移动平均系数多项式，则中心化MA(q)模型可以表示为xt??q(B)?t.
2. 模型的方差
3. 模型的自协方差
只与滞后阶数k相关，且q阶截尾。当k=0时，
当1≤k≤q时，
当k>q时，?(k)?0.
4. 模型的自相关函数：?(k)??(k)（q阶截尾性） ?(0)
5. 模型的滞后k阶偏自相关函数（中心化）
可以证明滞后k阶偏自相关函数具有拖尾性。
6. 模型的可逆性 以MR(1)为例，
模型Ⅰ：xt??t??1?t?1 或 xt??t
1??1B模型Ⅱ：xt??t?1?1?t?1 或 1?xt1??t B?1它们的自相关函数?1???1/(1??12)相同（即相同的自相关函数对应不同的回归模型），为了保证对应的唯一性，需要增加约束条件，即MR(q)模型的可逆性条件。
观察两个模型的第二种表示：当|?1|?1时，模型Ⅰ收敛、模型Ⅱ不收敛；当|?1|?1时，模型Ⅰ不收敛、模型Ⅱ收敛。
表示成收敛形式的MR(q)模型称为可逆MR(q)模型。一个自相关函数只对应唯一一个可逆MR(q)模型。
三、ARMA(p, q)模型——自回归移动平均模型
1. 模型
其中，?p?0，?q?0，随机干扰序列εt为0均值、??2方差的白噪声序列（E(?t?s)?0, t≠s），且当期的干扰与过去的序列值无关，即E(xtεt)=0.
若?0=0，则称为中心化的ARMA(p,q)模型。引入延迟算子，中心化的ARMA(p,q)模型可表示为：?p(B)xt??q(B)?t.
显然，AR(p)和MA(q)模型是ARMA(p,q)模型的特例。 2. 数字特征 （1）均值：E(xt)??01??1????p;
（2）自协方差函数：?(k)????GiGi?k，其中Gi为格林函数；
2i?0??(k)（3）自相关函数：?(k)???(0)?GGii?0?i?k?Gi?0?
2i
3. 模型的初步定阶
对于平稳非白噪声序列，计算出样本自相关系数（ACF）和偏自
?，?和移动平均阶数q相关系数（PACF），根据其性质估计自相关阶数p称为ARMA(p,q)模型的定阶。
?都近似服?(k)和偏自相关函数?可以推导出：样本自相关函数?kk1从正态分布N(0,).
n取显著水平α=0.05，若样本自相关系数和样本偏自相关系数在最初的k阶明显大于2倍标准差，而后几乎95%的系数都落在2倍标准差的范围内，且非零系数衰减为小值波动的过程非常突然，通常视为k阶截尾；若有超过5%的样本相关系数大于2倍标准差，或者非零系数衰减为小值波动的过程比较缓慢或连续，通常视为拖尾。
4. 参数估计
对非中心化的ARMA(p,q)模型
xt????q(B)?p(B)?t.
参数μ可用样本均值来估计总体均值（矩估计法），初步定阶估计出
?后，模型共有p+q+1个未知参数：?和移动平均阶数q自相关阶数p?1,?,?p,?1,?,?q,??2.
（1）参数的矩估计
用时间序列样本数据计算出延迟1阶到p+q阶的样本自相关函数
?(k)，延迟k阶的总体自相关函数为?k(?1,?,?p,?1,?,?q). 用计算出?的样本自相关函数来估计总体自相函数，得到p+q个联立方程组：
?,?,??,??,?,??. 从中解出?1,?,?p,?1,?,?q的值作为未知参数估计值?1p1qARMA(p,q)模型的两边同时求方差，并把前面的参数的估计值代入，可得白噪声序列的方差估计为：
（2）参数的极大似然估计
当总体分布类型已知时，极大似然估计是常用的估计方法。其基本思想是，认为样本来自使该样本出现概率最大的总体。
因此，未知参数的极大似然估计，就是使得似然函数（即联合密度函数）达到最大值的参数值：