逐步回归step-by-step regression

选择对预报量作用显著的预报因子建立多因子回归预报方程的过程，即按预报因子(x_i)对预报量(y)作用的显著程度，从大到小依次将因子逐个引入回归方程，当先引入的因子因后引入的因子而变得不显著时，随时将其从回归方程中剔除，这样每引入一因子或剔除一因子都算作一步，每一步前后都作F检验，以保证每次在新的显著因子引入以前，方程中只含有显著因子，直至无新因子可引入方程时为止，最后建立多因子回归方程。其过程可分为初选预报因子、求相关系数，逐步回归引入各预报因子和建立方程四个大步骤。
初选预报因子和预报量 实例： 样本数N=18,i=1、2、……5，其中x_i＝x_i,x₂,x₃,x₄ 为预报因子，x₅＝y为预报量。
求算相关系数和相关矩阵 ❶先计算下列各数：∑x_i; x_i; ∑x_ix_j(j=1,2,3,4,5)(i≠j); lxixj

排列成相关矩阵R(0)，组成R(0)矩阵的元素为rij(0)，即R(0)=(rij(0))，右上角(0)示零次计算。

逐步回归计算 先确定显著性标准F^*值，再逐步引入各预报因子。
确定F^*值 根据自由度和给定显著水平，查F分布表，所获F值可作为检验预报因子显著性的标准，即F^*(F^**表极显著)。
选取第一个因子 ❶对所有因子xi计算第一步方差贡献(即偏回归平方和V⁽¹⁾ⁱ)。

将R⁽⁰⁾中有关数值代入(2)式，求出各因子的V⁽¹⁾值，选出V(1)值最大的因子，作F显著性检验：

若F⁽¹⁾_k>F*，则k因子对预报量显著，可引入回归方程；
❷为得到k因子引入方程后的结果，矩阵R(0)应变换为新矩阵R(1)，其元素rij (1)按下式计算：

设入选因子为x₂，则k=2。将计算结果填入新矩阵R⁽¹⁾;
❸对新建立的回归方程进行方差分析，检验是否显著。本例引入1个因子x2后，回归方程只含有1个自变量x2，其回归系数b⁽¹⁾₂＝r⁽¹⁾25，剩余平方和Q⁽¹⁾＝r⁽¹⁾55。方差分析表明回归效果极显著（见表）。

方差分析表（表内数字系实例计算值）

变差来源	平方和	自 由度	均方差	F 值
回归(x2) 剩余 总计	R2=1-r55(1)=0.4908 r55(1)=0.5092 1	1 N-1-1=16 N-1=17	0.4908 0.031835	15.4218**

选取第二个因子 因为此时剔除已入选因子的一步可省去，所以，❶对所剩3个因子计算第二步方差贡献V_i⁽²⁾，参照(2)式计算，此时i=1,3,4，因x₂已入选。从V⁽²⁾_i各值中选最大的，设V⁽²⁾₄最大，应作F⁽²⁾₄检验。F⁽²⁾₄按下式计算：

若F⁽²⁾₄>F^*，表明x₄可引入回归方程；
❷x₄引入方程后，矩阵R⁽¹⁾经变换为R⁽²⁾＝(r⁽²⁾_ij)，依(4)式变化后计算，即将其中r⁽¹⁾_ij换为r⁽²⁾_ij,r⁽⁰⁾_ij换为r⁽¹⁾_ij，此时k=4。将计算结果填入R⁽²⁾;
❸回归方程引入了x₂,x₄两个因子，其回归系数分别为b⁽²⁾₂＝r⁽²⁾₂₅,b⁽²⁾₄＝r⁽²⁾₄₅，剩余平方和Q⁽²⁾₂＝r⁽²⁾₅₅。自由度f₁＝2,f₂＝N-1-1-1=15。进行方差分析结果表明回归效果极显著，x₂,x₄皆入选。
选取第三个因子 ❶此时回归方程包含x₂,x₄两个因子，各自作方差贡献及显著性测定，以剔除已入选的不显著因子：

将V⁽²⁾₁值求出后，按下式计算F⁽²⁾₁值：

若F⁽²⁾₂>F*,F⁽²⁾₄>F*，表明x₂,x₄对预报量有显著作用，不必剔除；
❷检验x₁,x₃能否进入回归方程，计算两因子的方差贡献，并测定显著性：

若得V⁽³⁾₁>V⁽³⁾₃，则先对V⁽³⁾₁作F检验：

得F⁽³⁾₁>F^*，故因子x₁仍可引入方程。经矩阵变换，组成三因子回归方程，并对方程作F检验，若F⁽³⁾₂、F⁽³⁾₄、F⁽³⁾₁均大于F^*，表明三因子均合格，则可考虑再引入新因子。若x₁引入后，使原有的x₂(或x₄)不合格子，则应将其剔除，剔除后再对x₄(或x₂和x₁二因子的回归方程作方差分析和F检验，如x₄(或x ₂)和x₁合格，才能考虑再引入新因子。其余依此类推，直到不显著因子都已剔除，也再无新因子引入为止。
建立回归方程 可分四步：❶计算回归系数：将标准化的回归系数b₁转化为原单位b₁':

❷计算复相关系数及剩余标准差：

❸查复相关系数检验表，确定其相关显著性；
❹建立回归方程：

y=b₁x₁+b₂x₂+b₃x₃+b₀

逐步回归stepwise regression

是一种多因素统计分析方法，是多元回归分析的发展。将影响的全部因素（自变量）按其对因变量（个）的作用大小，由大至小依次逐个引入回归方程，并进行回归方程的显著性检验，将作用不显著的加以排除。然后再代入另一因素，重复上法进行显著性检验和删除，直至最后代入的因素未再被删除为止，同时又无新的因素代入。这样建立的回归方程为较理想的回归方程。计算逐步回归多使用电子计算机。

逐步回归Stepwise Regression

在建立多元回归方程的过程中，按偏相关系数的大小次序将自变量逐个引入方程，对引入方程中的每个自变量偏相关系数进行统计检验，效果显著的自变量留在回归方程内，循此继续选下一个自变量。若效果不显著，停止引入新的自变量。由于新自变量的引入，原已引入方程中的自变量效果变得不显著者要随时从方程中剔除，只保留效果显著的自变量。直至不再引入和剔除自变量为止，从而得到最优的回归方程。