应用统计硕士考研知识点：多元回归

多元回归

1.多重共线性

回归模型中两个或两个以上的自变量彼此相关

多重共线性带来的问题有

可能会使回归的结果造成混乱，甚至会把分析引入歧途

可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同我们预期的正负号相反

2.多重共线性的识别

检测多重共线性的较简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验

若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性

如果出现下列情况，暗示存在多重共线性

模型中各对自变量之间显著相关。

当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著

回归系数的正负号与预期的相反。

3.变量选则过程

在建立回归模型时，对自变量进行筛选

选择自变量的原则是对统计量进行显著性检验

将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有要将这个自变量引入回归模型，否则，就没有要将这个自变量引入回归模型

确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量

变量选择的方法主要有：向前选择、向后剔除、逐步回归、较优子集等

4.向前选择

从模型中没有自变量开始

对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值较高的模型及其自变量(P值较小的)，并将其首先引入模型

分别拟合引入模型外的k-1个自变量的线性回归模型

如此反复进行，直至模型外的自变量均无统计显著性为止

5.向后剔除

先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p

考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小较少的自变量被挑选出来并从模型中剔除

如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止

6.逐步回归

将向前选择和向后剔除两种方法结合起来筛选自变量

在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除

按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少

在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中

7.虚拟自变量

用数字代码表示的定性自变量

虚拟自变量可有不同的水平

只有两个水平的虚拟自变量。比如，性别(男，女)

有两个以上水平的虚拟自变量，贷款企业的类型(家电，医药，其他)

虚拟变量的取值为0，1

回归模型中使用虚拟自变量时，称为虚拟自变量的回归

当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量，比如，性别

一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个虚拟变量

例：引进虚拟变量时，回归方程可写：

E(y) =b0+ b1x1+ b2x2

女( x2=0)：E(y|女性) =b0 +b1x1

男(x2=1)：E(y|男性) =(b0 + b2 ) +b1x1

b0的含义表示：女性职工的期望月工资收入

(b0+ b2)的含义表示：男性职工的期望月工资收入

b1含义表示：工作年限每增加1年，男性或女性工资的平均增加值

b2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 (b0+ b2) - b0= b2