本站分享:AI、大数据、数据分析师培训认证考试,包括:Python培训Excel培训Matlab培训SPSS培训SAS培训R语言培训Hadoop培训Amos培训Stata培训Eviews培训

岭回归分析_spss岭回归分析_岭回归分析模型

spss培训 cdadata 6289℃

岭回归分析

关键词:spss岭回归分析岭回归分析模型相关分析与回归分析回归分析论文岭回归和线性回归岭回归分析有什么用

一、普通最小二乘估计带来的问题

当设计矩阵X呈病态时,X的列向量之间有较强的线性相关性,即解释变量间出现严重的多重共线性,在这种情况下,用普通最小二乘法估计模型参数,往往参

ˆ)C2L很大,ˆ就很不稳定,在具体取值上与数估计的方差太大,即var(jjjjjj

真值有较大的偏差,有时会出现与实际经济意义不符的正负号。下面看一个例子,可以说明这一点。

假设已知x1,x2与y的关系服从线性回归模型:y102x13x2,给定x1,x2的10个值,如下表1,2行所示:

表7.1

然后用模拟的方法产生10个正态随机数,作为误差项,见表第3行。然后再由回归模型yi102xi13xi2i计算出10个yi值,见表第4行。现在假设回归

ˆ=11.292,ˆ系数与误差项是未知的,用普通最小二乘法求回归系数的估计得:10

ˆ=-6.591,而原模型的参数=10,=2,=3看来相差太大。=11.307,计算x1,2102

x2的样本相关系数得r12=0.986,表明x1与x2之间高度相关。通过这个例子可以看到解释变量之间高度相关时,普通最小二乘估计明显变坏。

二、岭回归的定义

当自变量间存在多重共线性,|XX|0时,设想给XX加上一个正常数矩阵kI(k>0)那么XX+kI接近奇异的程度就会比XX接近奇异的程度小得多。考虑到变量的量纲问题,先要对数据标准化,标准化后的设计矩阵仍用X表示,定义ˆ(k)(XXkI)1Xy称为的岭回归估计,其中,k称为岭参数。由于假设X已经标准化,所以XX就是自变量样本相关阵。y可以标准化也可以未标准化,

ˆ(k)作为的估如果y也经过标准化,那么计算的实际是标准化岭回归估计。

ˆ稳定,当k=0时的岭回归估计ˆ(0)就是普通的最小二乘计应比最小二乘估计

ˆ(k)实际是回归估计。因为岭参数k不是唯一确定的,所以得到的岭回归估计

参数的一个估计族。

三、岭回归估计的性质

ˆ(k)是回归参数的有偏估计。 性质1,

ˆ(k)]E((X证明:E[XkI)1Xy)(XXkI)1XE(y)(XXkI)1XX显然

ˆ(0)]ˆ;当k0时,ˆ(k)是的有偏估计。 只有当k=0时,E[

ˆ(k)=(XXkI)1Xy是最小二性质2,在认为岭参数k是与y无关的常数时,

ˆ的一个线性变换。也是yˆ的线性函数。 乘估计

ˆ(k)(Xˆ 证明:XkI)1Xy(XXkI)1XX(XX)1Xy(XXkI)1XX

ˆ(k)ˆ。 ˆ0,总有性质3,对任意k>0,ˆ(k)看看成由ˆ进行某这里是向量的模,等于向量各分量的平方和。这个性质表明

ˆ(k)的表达式可以看到,ˆ(k)0,ˆ(k)化种向原点的压缩。从当k时,即

为零向量。

ˆ(k)]MSE(ˆ)。性质4,以MSE表示估计向量的均方误差,则存在k>0,使得MSE[

四、岭迹分析

ˆ(k)是k的函数,在平面坐标系上把函当岭参数k在(0,)内变化时,

ˆ(k)描画出来,画出的曲线称为岭迹。

数

ˆ(0)=ˆ>0,且比较大。从古典回归分析的观点看,应将x看作是在图a中,jjj

ˆ(k)的图形显示出相当的不稳定,当k从零开始略对y有重要影响的因素。但j

ˆ(k)显著地下降,而且迅速趋于零,因而失去预测能力。从岭回归增加时, j

的观点看,xj对y不起重要作用,甚至可以去掉这个变量。

ˆ=ˆ(0)>0,但很接近0。从古典回归分析看,x对y的作用不大。在图b中,jjj

ˆ(0)骤然变为负值,从岭回归观点看,x对y有显著影响。但随着k略增加, jj

ˆ=ˆ(0)>0,说明x还比较显著,但当k增加时,迅速下降,且稳在图c中,jjj

定为负值,从古典回归分析看xj对y有正影响的显著因素,而从岭回归分析角

度看,xj要被看作是对y有负影响的因素。

ˆ(k)和ˆ(k)都很不稳定,但其和却大体上稳定。这种情况往往发在图d中,12

生在自变量x1和x2的相关性很大的场合,即x1和x2之间存在多重共线性的情形。因此,从变量选择的观点看,两者只要保存一个就够了。这种情况可用来解释某些回归系数估计的符号不合理的情形,从实际观点看,1和2不应该有相反符号。岭回归分析的结果对这一点提供了解释。

从全局考虑,岭迹分析可用来估计在某一具体实例中最小二乘估计是否适用,把所有回归系数的岭迹都描在一张图上,如果这些岭迹线“不稳定度”很大,整个系统呈现比较“乱”的局面,往往就会怀疑最小二乘估计是否很好地反映了真实情况。如图e那样。如果情况如图f那样,则对最小二乘估计可以有更大的信心。

五、岭参数k的选择

ˆ(k))达到最小的k,最优k值依赖于岭参数选择的目的是要选择使MSE(

未知参数和2。

1、岭迹法

岭迹法的直观考虑是,如果最小二乘估计看来有不合理之外,如估计值以及

ˆ(k)来加以一定程度的正负号不符合经济意义,希望能通过采用适当的岭估计

改善,岭参数k值的选择就是尤为重要。选择k值的一般原则是:

(1)各回归系数的岭估计基本稳定;

(2)用最小二乘估计时符号不合理的回归系数,其岭估计的符号变得合理。

(3)回归系数没有不合乎经济意义的绝对值;

4)残差平方和增大不太多。

岭迹法与传统的基于残差方法相比,在概念上来说是完全不同的,岭迹法对于分析各变量之间的作用和关系是有帮助的。

2、方差扩大因子法

应用方差扩大因子法选择k的经验做法是:选择k使所有方差扩大因子

ˆ(k)就会相对稳定。 cjj≤10,当cjj≤10时,所对应的k值的岭估计β

3、由残差平方和来确定k值

ˆ(k)在减小均方误差的同时增大了残差平方和,岭估计β我们希望岭回归的残

差平方和SSE(k)的增加幅度控制在一定的限度以内,从而可以给定一个大于1的c值,要求SSE(k)<cSSE,寻找使该式成立的最大的k值。

六、用岭回归选择变量

岭回归选择变量的原则:

1、在岭回归的计算中,假定设计矩阵X已经中心化和标准化了,这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。

2、当k值较小时,标准化岭回归系数的绝对值并不是很小,但是不稳定,随着k的增加迅速趋于零,像这样岭回归系数不稳定,震动趋于零的自变量可以予以剔除。

3.去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定,究竟去掉几个,去掉哪几个,这并无一般原则可循,这需根据去掉某个变量后重新进行岭回归分析的效果来确定。

七、实例分析——用岭回归选择变量

例1:空气污染问题,研究死亡率与空气污染、气候以及社会经济状况等因素的关系。考虑了15个解释变量,收集了60组样本数据。

x1— 平均年降雨量;x2—1月份平均气温;x3—7月份平均气温

x4— 年龄65岁以上的人口占总人口的百分比;x5—每家人口数

x6— 年龄在22岁以上的人受教育年限的中位数

x7—住房符合标准的家庭比例数;x8—每平方公里人口数

x9—非白种人占总人口的比例;x10—白领阶层人口比例

x11— 收入在3000美元以下的家庭比例;x12—碳氢化合物的相对污染势 x13—氮氧化合物的相对污染势;x14—二氧化硫的相对污染势

x15—年平均相对湿度;y—每十万人中的死亡人数

这个问题收集了60组样本数据。根据样本数据,计算XX的15个特征根为:

4.5272,2.7547,2.0545,1.3487,1.2227

0.9605,0.6124, 0.4729,0.3708,0.2163

0.1665,0.1275,0.1142,0.0460,0.0049 后面两个特征根很快接近零,由条件数可知:kj=mλj=115=30.396,说明设计矩阵X含较严重的多重共线性。

进行岭迹分析,把15个回归系数的岭迹绘成下图,从图中看到,当k=0.2

时,岭迹大体上达到稳定。按照岭迹法,应取k=0.2。若用方差扩大因子法,当k在0.02~0.08时,方差扩大因子小于10,故应在此范围选取k,由此可以看到不同的方法选取的k值是不同的。

在用岭回归进行变量选择时,因为从岭迹看到自变量x4,x7,x10,x11和x15有较稳定且绝对值较小的岭回归系数,根据变量选择的第一条原则,这些自变量可以去掉。又因为,自变量x12和x13的岭回归系数很不稳定,且随着k的增加很快趋于零,根据上面的第二条原则这些自变量也应该去掉。还可根据第三条原则去掉变量x3,x5。这个问题最后剩的变量是x1,x2,x6,x8,x9,x14即可用这些自变量去建立一个回归方程。

例2.本例共有10个自变量,X已经中心化和标准化了,XX的特征根为:

3.692,1.542,1.293,1.046,0.972,

0.659,0.357,0.220,0.152,0.068

最后一个特征根λ10=0.068,较接近于零k=λ1λ10=7.368,条件数k=7.368<10从条件数的角度看,似乎设计矩阵X没有多重共线性。但下面的研究表明,作岭回归还是必要的。关于条件数,这里附带说明它的一个缺陷,就是当XX所有特征根都较小时,虽然条件数不大,但多重共线性却存在。

ˆ(k),画出岭迹,如下图所示,从图下面作岭回归分析。对15个k值算出β

ˆ(k)中可以看到,最小二乘估计的稳定性很差,这反映在当k与0略有偏离时,β

ˆ|和|βˆ|下降最多。当k从0上升到

0.1ˆ=βˆ(0)就有较大的差距,特别是|β与β56

ˆ(0)的59%,而在正交设计的情形只下降17%。这些现象在ˆ(k)下降到β时,βˆ是否反映了β的真实情况。 直观上就使人怀疑最小二乘估计β22

ˆ为负回归系数中绝对值最大的,另外,因素x5的回归系数的最小二乘估计β5

ˆ(k)迅速上升且变为正的,与此相反,对因素x6,βˆ为正的,但当k增加时,β56

ˆ(k)迅速下降。再考虑到x5,x6样本相关系且绝对值最大,但当k增加时,β6

数达到0.84,因此这两个因素可近似地合并为一个因素。

ˆ绝对值偏高,当k增加时,βˆ(k)很快接近于再看x7,它的回归系数估计β77

0,这意味着x7实际上对y无多大影响。至于x1,其回归系数的最小二乘估计

ˆ(k)|首先迅速上升,成为对因变量有负绝对值看来有点偏低,当k增加时,|β1

ˆ(k)|稳定地缓慢趋于零。这意味着,影响的最重要的自变量。当k较大时,|β1

通常的最小二乘估计对x1的重要性估计过低了。

ˆ(k)已大体上趋于稳定,从整体上看,当k达到0.2~0.3的范围时,各个βj

ˆ(k)和因此,在这区间上取一个k值作岭回归可能得到较好的效果。本例中β5

ˆ(k)当k从0略增加时,很快趋于0,于是它们很自然是应该剔除的。去掉它β7

们之后,重作岭回归分析,岭迹基本稳定。因此去掉x5和x7是合理的。

八、实例分析——用岭回归处理多重共线性问题

(注!如果希望回归方程中保留一些自变量,那么岭回归方法是很有用的方法。) 例:用岭回归方法处理民航客运数据的多重共线性问题。

 

 

 

转载请注明:数据分析 » 岭回归分析_spss岭回归分析_岭回归分析模型

喜欢 (0)or分享 (0)