自回归AR(p)

在p阶自回归过程中，y_t由前l期直到前p期的观察值加权平均，再加现期的随机扰动项构成。我们记这类过程为AR(p)，方程为：

y_t＝φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p
+δ+ε_t (1)

这里δ是常数项，它与过程的均值有关。
如果自回归过程是平稳的，则它的均值μ，关于时间是常数。即E(y_t)=E(y_t-1)=…=μ。
于是

μ=δ/(1-φ₁-φ₂-…-φ_p) (2)

这个与过程均值有关的公式同时给出了一个关于过程平稳性的条件。如果过程平稳，则方程(2)给出的均值μ一定是有限的，否则的话，过程可能漂移固定参照点很远，因而不是平稳的。如果μ是有限的，则

φ₁+φ₂+…+φ_p<1 (3)

过程y_t是平稳过程的重要条件为特征方程φ(B)=0的根在单位圆之外。
建立自回归模型的一个问题就是识别随机过程自回归的阶数。对于移动平均模型，识别移动平均的阶数很容易。因为对于q阶移动平均过程，滞后期大于q的样本自相关系数将接近于0(Bartlett公式给出了自相关系数标准误差的近似值，所以可通过用样本自相关系数进行显著性检验来确定移动平均过程的阶数)，尽管有关自回归过程的一些信息可从样本自相关函数周期变化的行为获得，但从偏自相关函数可获得更多的信息，并利用这些信息进行识别。
可从下式得到滞后k期的协方差：

γ_k＝E[y_t-k(φ₁y_t-1+φ₂y_t-2+…
+φ_py_t-p+ε_t)] (4)

让k=1，…，p，我们就得到可解出ρ₁,ρ₂，…，ρ_p的p个方程：

ρ₁＝φ₁+φ₂ρ₁+…+φ_pρ_p-1
ρ₂＝φ₁ρ₁+φ₂+…+φ_pρ_p-2
……
ρ_p＝φ₁ρ_p-1+φ₂ρ_p-2+…+φ_p (5)

从方程(4)，对于k>p，我们有

ρ_k＝φ₁ρ_k-1+φ₂ρ_k-2+…+φ_pρ_k-p (6)

(5)中的方程组叫做Yule-Walker方程组，当ρ₁,ρ₂，…，ρ_p已知时，由这些方程组可解出φ₁,φ₂，…，φ_p。不幸的是，从方程(5)求解需要知道自回归过程的阶数。因而我们可对p的连续值求解Yule-Walker方程(5)。换言之，假设p=1，方程(5)变为ρ₁＝φ₁，利用样本自相关系数得到φ₁的估计φ₁＝ρ₁。这样，如果φ₁显著地不为0，则我们知道自回归过程的阶数至少为1。记φ₁为a₁。现在假设p=2，从Yule-Walker方程组中解出φ₁和φ₂。再利用样本自相关函数得到它们的估计φ₁和φ₂。如果φ₂显著地不为0，则我们断定自回归过程的阶数至少为2。当φ₂接近0时，我们有结果：自回归过程的阶数p=1。记φ₂为a₂。对p的连续取值重复上述步骤，对p=3，得到φ₃的估计φ₃，记为a₃。对p=4，得到φ₄的估计φ₄。记为a₄。我们称序列a₁,a₂,a₃，…为偏自相关函数。注意到我们可以从偏自相关函数的行为来推测自回归过程的阶数。特别地，如果自回归过程的阶数为p，则应该有：对j>p,a_j≈0。
为了检验某个a_j是否为0，我们利用结果：a_j近似服从于均值为0，方差为1/T的正态分布。当|a_j|>2/时，在显著性水平5%下，a_j不为0。