主成分分析

---

多元统计分析的一种。

研究如何通过变量的少数几个线性组合来解释这些变量的相关结构。1933年霍特林建立。若p个标准化相关变量Z₁，Z₂，…，Z_p的线性组合Y₁=b₁₁Z₁+…+b_1pZ_p，…，Y_p=b_p1Z₁+…+b_ppZ_p，且Y₁，Y₂，…，Y_p满足以下两个条件：(1)Y_i的系数向量为单位长，即+…+=1，i=1，…，p；(2)Y₁，Y₂，…，Y_p的方差达到最大且互不相关，则Y₁，Y₂，…，Y_p被称为相关变量Z₁，Z₂，…，Z_p的主成分。第一主成分Y₁是一切系数为单位长的线性组合中方差最大者，第二主成分Y₂是一切系数为单位长且与Y₁不相关的线性组合中方差最大者，依次类推，第k主成分Y_k是一切系数为单位长且与前k－1个主成分不相关的线性组合中方差最大者。

设λ₁≥λ₂≥…≥λ_p≥0是Z₁，Z₂，…，Z_p的相关矩阵R的特征根，e₁，e₂，…，e_p为相应的标准正交化特征向量。可以证明，第一主成分Y₁的系数向量是e₁，方差为λ₁，第二主成分Y₂的系数向量是e₂，方差为λ₂。一般地，第k主成分Y_k的系数向量是e_k，方差为λ_k，即Y_k=e_k1Z₁+e_k2Z₂+…+e_kpZ_p，k=1，2，…，p，式中e_k=(e_k1，e_k2，…，e_kp)′。且对于方差有如下结果λ_i=Var(Y_i)=Var(Z_i)=p，从而第k主成分的方差占变量总方差的比例为λ_k／p。若前m个主成分的方差之和占总方差的比例很大(如超过0．8)，则可用它们近似解释原来变量的变化情况，即主成分分析的思想。主成分分析可作为其他多元统计的中间环节。

当变量较多且彼此相关时，用少数重要的主成分代替原来的变量，可用于回归分析、聚类分析等。