下载: -
线性统计模型是现代统计学中应用最为广泛的模型之一，同时是其他统计模型研究或应用的基础.
考虑如下线性回归模型：
其中：y是n×1观测向量，X是n×p列满秩设计矩阵，β是p×1待估回归系数向量，e是n×1随机误差向量，In是n×n单位矩阵.
对于待估回归系数向量β，Geer[1]给出了其最小二乘估计：
$\hat{\boldsymbol{\beta}}=\left(\boldsymbol{X}^{\prime} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{Y}$ ，并证明了最小二乘估计$\hat{\boldsymbol{\beta}}$ 是一个无偏估计.但当设计阵X含有多重共线关系时，X′X接近奇异，则至少有一个特征值λi接近于0，此时利用最小二乘估计得到的参数将严重偏离实际值.当设计阵呈“病态”时，为了改进最小二乘估计，人们提出了一系列有偏估计[2-7].
均方误差(MSE)是统计回归分析中评价一个估计优劣的标准，MSE越小，估计越稳定，估计效果越好.本文基于先验信息和随机扩展约束，在修正岭估计和约束型LIU估计的基础上，提出了修正约束型LIU估计，研究了新估计的一些性质，在均方误差准则下证明了在一定条件下此估计优于约束型LIU估计、最小二乘估计、岭估计和修正岭估计，并讨论了新估计的可容许性，最后通过实证分析验证新估计的优良性.
全文HTML
-
考虑模型(1)的典则形式：
其中：Z=XQ，α=Q′β，Q是p阶正交矩阵，Z′Z=Q′X′XQ=Λ=diag(λ1，λ2，…，λp)，λ1≥λ2≥…≥λp为X′X的特征值.
对于线性回归模型，回归系数β的岭估计定义为：
其典则形式为
$\mathit{\boldsymbol{\widehat \alpha }}(k) = {(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + k\mathit{\boldsymbol{I}})^{ - 1}}{\mathit{\boldsymbol{Z}}^\prime }\mathit{\boldsymbol{y}}$ ，其中k≥0称为岭参数.基于先验信息，文献[3]对岭估计进行修正，提出了修正岭估计(MRE)：
其典则形式为
$\mathit{\boldsymbol{\hat \alpha }}(k, \mathit{\boldsymbol{b}}) = {(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + k\mathit{\boldsymbol{I}})^{ - 1}}\left({{\mathit{\boldsymbol{Z}}^\prime }\mathit{\boldsymbol{y}} + k\mathit{\boldsymbol{b}}} \right)$ ，其中B=tβ(0 < t < 1)是给定的非随机向量，b=Q′B.当k→+∞时MRE趋近于B，当k=0时MRE为最小二乘估计，因此B可以表示为β上的先验信息[3].文献[4]在Stein估计和岭估计的基础上提出了LIU估计：
其典则形式为
$\mathit{\boldsymbol{\widehat \alpha }}(d) = {(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + \mathit{\boldsymbol{I}})^{ - 1}}(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + d\mathit{\boldsymbol{I}}){\mathit{\boldsymbol{ \boldsymbol{\varLambda} }}^{ - 1}}{\mathit{\boldsymbol{Z}}^\prime }\mathit{\boldsymbol{y}}$ ，其中0 < d < 1.文献[6]通过构造附加随机线性约束
$\frac{{d\mathit{\boldsymbol{\widehat \beta }}}}{{{k^{\frac{1}{2}}}}} = {k^{\frac{1}{2}}}\mathit{\boldsymbol{\beta }} + \mathit{\boldsymbol{e}}$ ，e~(0，σ2IP×p)，并结合LIU估计、最小二乘估计和岭估计提出了约束型LIU估计：其典则形式为
$\hat{\boldsymbol{\alpha}}(k, d)$ =(Λ+kI)-1(Λ+dI)Λ-1Z′y，其中k>0，0 < d < 1.约束型LIU估计的目标函数为
使式(7)达到最小值的解就是约束型LIU估计.
令Lk=(X′X+kI)-1X′X，则有
因此可得修正岭估计为
从式(8)可以看出修正岭估计是一个先验信息B和最小二乘估计
$\hat{\boldsymbol{\beta}}$ 的凸组合.在修正岭估计的基础上，对约束型LIU估计引入先验信息B和最小二乘估计
$\hat{\boldsymbol{\beta}}$ 组合，可类似得到新的约束型LIU估计，称之为修正约束型LIU估计(MRLE).根据式(8)，令H(k，d)=(X′X+kI)-1(X′X+dI)=I-(k-d)(X′X+kI)-1，并用H(k，d)替换式中的Lk，可得修正约束型LIU估计为
其中k>0，-∞ < d < +∞.
其典则形式为
其中Λ=diag(λ1，λ2，…，λp)，λi(i=1，…，p)表示X′X的特征值.
由式(9)修正约束型LIU估计可变形为：
‖
$\hat{\boldsymbol{\beta}}$ (k，d，B)-B‖=‖[I+(k-d)(X′X+dI)-1]-1($\hat{\boldsymbol{\beta}}$ -B)‖称为修正约束型LIU估计的欧氏距离.令p=k-d，从式(11)可以看出，当
$\hat{\boldsymbol{\beta}}$ ≠B时，对任意的X和y，都有$\lim\limits_{p \rightarrow 0} \hat{\boldsymbol{\beta}}(k, d, \boldsymbol{B})=\hat{\boldsymbol{\beta}}$ ，以及$\lim\limits_{p \rightarrow+\infty} \hat{\boldsymbol{\beta}}(k, d, \boldsymbol{B})=\boldsymbol{B}$ ，因此当p从零无限增加时，$\hat{\boldsymbol{\beta}}$ (k，d，B)是一条经过$\hat{\boldsymbol{\beta}}$ 和B参数空间的曲线，随着k-d不断增大，‖[I+(k-d)(X′X+dI)-1]-1($\hat{\boldsymbol{\beta}}$ -B)‖严格单调递减，$\hat{\boldsymbol{\beta}}$ (k，d，B)无限接近于先验信息B.设
$\tilde{\boldsymbol{\beta}}$ 为β的一组估计类，则g($\tilde{\boldsymbol{\beta}}$ )=($\tilde{\boldsymbol{\beta}}$ -B)′($\tilde{\boldsymbol{\beta}}$ -B)表示$\tilde{\boldsymbol{\beta}}$ 与B的距离函数，考虑$\tilde{\boldsymbol{\beta}}$ 的残差平方和f($\tilde{\boldsymbol{\beta}}$ )=(y- X$\tilde{\boldsymbol{\beta}}$ )′(y - X$\tilde{\boldsymbol{\beta}}$ ).以f($\tilde{\boldsymbol{\beta}}$ )为目标函数，g($\tilde{\boldsymbol{\beta}}$ )=c为约束条件，构造辅助函数其中ξ为拉格朗日乘子.显然F(
$\tilde{\boldsymbol{\beta}}$ )是$\tilde{\boldsymbol{\beta}}$ 的严格凸函数，令ξ=(X′X+dI)-1X′X(k-d)，由$\frac{{\partial F(\mathit{\boldsymbol{\widetilde \beta }})}}{{\partial \mathit{\boldsymbol{\widetilde \beta }}}} = 0$ 可求得即在β的一组与B有相同距离的等价估计类中，
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)的残差平方和最小，因此引入先验信息B后，数据与模型拟合效果更好.容易看出
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)有如下特殊形式：1)
$\mathit{\boldsymbol{\hat \beta }}$ (1，1，B)=$\mathit{\boldsymbol{\hat \beta }}$ =(X′X)-1X′y为最小二乘估计；2)
$\mathit{\boldsymbol{\hat \beta }}$ (1，d，0)=$\mathit{\boldsymbol{\hat \beta }}$ (d)=(X′X+I)-1(X′y+d)$\mathit{\boldsymbol{\hat \beta }}$ 为LIU估计；3)
$\mathit{\boldsymbol{\hat \beta }}$ (k，0，0)=$\mathit{\boldsymbol{\hat \beta }}$ (k)=(X′X+kI)-1X′y为岭估计；4)
$\mathit{\boldsymbol{\hat \beta }}$ (k，0，B)=$\mathit{\boldsymbol{\hat \beta }}$ (k，B)=(X′X+kI)-1(X′y+kB)为修正岭估计；5)
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，0)=$\mathit{\boldsymbol{\hat \beta }}$ (k，d)=(X′X+kI)-1(X′y+d$\mathit{\boldsymbol{\hat \beta }}$ )为约束型LIU估计.
-
修正约束型LIU估计
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)具有如下性质：性质1
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)是$\mathit{{\hat \beta }}$ 的一个线性变换.证
用最小二乘估计
$\mathit{\boldsymbol{\hat \beta }}$ 代替未知参数β可得其中A=(X′X+kI)-1[(X′X+dI)+t(k-d)]=Q(Λ+kI)-1[(Λ+dI)+t(k-d)I]Q′，0 < t < 1.
证毕.
性质2 E(
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B))=(X′X+kI)-1[(X′X+dI)+t(k-d)]β.证
证毕.
性质3 Cov(
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B))=σ2(X′X+kI)-1(X′X+dI)(X′X)-1(X′X+dI)′(X′X+kI)-1.证
证毕.
性质4 当k>d时，
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)是一个有偏、压缩估计，即||E($\mathit{\boldsymbol{\hat \beta }}$ (k，d，B))|| < ||β||.证 因为k>d时，有
$\frac{\lambda_{i}+d+t(k-d)}{\lambda_{i}+k} < 1$ ，0 < t < 1，所以证毕.
-
均方误差(MSE)反映了估计量与被估计量之间的差异程度，其定义为
定义1[2] 设
$\mathit{\boldsymbol{\hat \alpha }}$ 为α的一个估计，则$\mathit{\boldsymbol{\hat \alpha }}$ 的均方误差矩阵为MSEM($\mathit{\boldsymbol{\hat \alpha }}$ )=Cov($\mathit{\boldsymbol{\hat \alpha }}$ )+Bias($\mathit{\boldsymbol{\hat \alpha }}$ )Bias($\mathit{\boldsymbol{\hat \alpha }}$ )′，其中Cov($\mathit{\boldsymbol{\hat \alpha }}$ )=E[($\mathit{\boldsymbol{\hat \alpha }}$ -E$\mathit{\boldsymbol{\hat \alpha }}$ )′($\mathit{\boldsymbol{\hat \alpha }}$ -E$\mathit{\boldsymbol{\hat \alpha }}$ )]，Bias($\mathit{\boldsymbol{\hat \alpha }}$ )=E($\mathit{\boldsymbol{\hat \alpha }}$ -α).定义2[2] 设
$\mathit{\boldsymbol{\hat \alpha }}$ 为α的一个估计，称MSE($\mathit{\boldsymbol{\hat \alpha }}$ )=tr[MSEM($\mathit{\boldsymbol{\hat \alpha }}$ )]=tr[Cov($\mathit{\boldsymbol{\hat \alpha }}$ )]+Bias($\mathit{\boldsymbol{\hat \alpha }}$ )Bias($\mathit{\boldsymbol{\hat \alpha }}$ )′为$\mathit{\boldsymbol{\hat \alpha }}$ 的均方误差.修正约束型LIU估计的偏差向量为
其中：α表示典则回归系数向量，
$\mathit{\boldsymbol{\hat \alpha }}$ =Λ-1Z′y表示典则回归系数的最小二乘估计向量.由性质3可知，修正约束型LIU估计的协方差矩阵为
其中Fd=(Λ+kI)-1(Λ+dI).
因此可得修正约束型LIU估计的均方误差矩阵为
引理1[7] 设
$\mathit{\boldsymbol{\hat \beta }}$ 1=A1y，$\mathit{\boldsymbol{\hat \beta }}$ 2=A2y为β的两个齐次线性估计，使得D=(A1A′1-A2A′2)>0，则当且仅当b′2[δD+b1b′1]-1b2 < 1时有其中MSEM(
$\mathit{\boldsymbol{\hat \beta }}$ i)=Cov($\mathit{\boldsymbol{\hat \beta }}$ i)+bib′i，bi=Bias($\mathit{\boldsymbol{\hat \beta }}$ i)=(AiX-I)β，i=1，2.引理2[8] 设M为正定矩阵，α为某一向量，则M-αα′>0当且仅当α′M-1α < 1.
-
定理1 令-2λi < d < 0，当且仅当b′2(σ2D1+b1b′1)-1b2 < 1时，修正约束型LIU估计比岭估计具有更小的均方误差.
证 岭估计的偏差向量和协方差矩阵分别为：
其中Fk=(Λ+kI)-1，所以有
令Δ2=MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ (k))-MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，则其中D1=FkΛF′k-FdΛ-1F′d=Qdiag(τ1，τ2，…，τp)Q′，
$\tau_{i}=\frac{-d\left(2 \lambda_{i}+d\right)}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$ ，当-2λi < d < 0时，有τi>0，即D1>0.
由引理1可知，当且仅当b′2[σ2D1+b1b′1]-1b2 < 1时，有Δ2>0，此时MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ (k))>MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))即修正约束型LIU估计比岭估计具有更小的均方误差.证毕.
推论1 存在
$d_{11}^* = \frac{{{\mathit{\Delta }^{\frac{1}{2}}} - 2{g_i}(k)}}{{2{f_i}(k)}} > 0$ ，对任意的0 < d < d11*使得下式成立.其中：
$f_{i}(k)=\frac{\sigma^{2}+\lambda_{i}\left(\alpha_{i}-b_{i}\right)^{2}}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$ ，$g_{i}(k)=\frac{\sigma^{2}-k\left(\alpha_{i}-b_{i}\right)^{2}}{\left(\lambda_{i}+k\right)^{2}}$ ，$h_{i}(k)=\frac{k^{2} b\left(2 \alpha_{i}-b_{i}\right)}{\left(\lambda_{i}+k\right)^{2}}$ ，$\mathit{\Delta } = 4g_i^2(k) + 4{f_i}(k){h_i}(k)$ .证 由定义2可知
其中：
$f_{i}(k)=\frac{\sigma^{2}+\lambda_{i}\left(\alpha_{i}-b_{i}\right)^{2}}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$ ，$g_{i}(k)=\frac{\sigma^{2}-k\left(\alpha_{i}-b_{i}\right)^{2}}{\left(\lambda_{i}+k\right)^{2}}$ ，$h_{i}(k)=\frac{k^{2} b\left(2 \alpha_{i}-b_{i}\right)}{\left(\lambda_{i}+k\right)^{2}}$ .这是一个关于d的二次函数，图像开口向上，记
其判别式以及两个根分别为
当d11*>0时，对任意的0 < d < d11*，有h(d) < 0，此时有MSE(
$\mathit{{\hat \alpha }}$ (k，d，b)) < MSE($\mathit{{\hat \alpha }}$ (k)).证毕.
-
定理2 令-2λi < d < 0，当且仅当b′2[σ2D3+b3b′3]-1b2 < 1时，修正约束型LIU估计比修正岭估计具有更小的均方误差.
证 修正岭估计的偏差向量和协方差矩阵分别为：
其中
$\mathit{\boldsymbol{\tilde F}}$ k=(Λ+kI)-1Λ，所以有令Δ4=MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ (k，b))-MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，则其中D3=
$\mathit{\boldsymbol{\tilde F}}$ kΛ-1$\mathit{\boldsymbol{\tilde F}}$ k-FdΛ-1F′d=Qdiag(υ1，υ2，…，υp)Q′，$v_{i}=\frac{-d\left(2 \lambda_{i}+d\right)}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}=\tau_{i}$ ，当-2λi < d < 0时，有υi>0，即D3>0.
由引理1可知，当且仅当b′2[σ2D3+b3b′3]-1b2 < 1时，有Δ4>0，此时MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ (k，b))>MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，即修正约束型LIU估计比修正岭估计具有更小的均方误差.证毕.
推论2 存在
$d_{21}^{*}=2 \sum\limits_{i=1}^{p} \frac{\lambda_{i}\left[\sigma^{2}-k\left(\alpha_{i}-b_{i}\right)^{2}\right]}{\sigma^{2}+\lambda_{i}\left(\alpha_{i}-b_{i}\right)^{2}}>0$ ，对任意的0 < d < d21*使得下式成立证 由定义2可知
这是一个关于d的二次函数，图像开口向上，其两个根分别为
当d21*>0时，对任意的0 < d < d21*，有MSE(
$\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b)) < MSE($\mathit{\boldsymbol{\hat \alpha }}$ (k，b)).证毕.
-
定理3 当且仅当αα′-(α-b)(α-b)′≥0时，修正约束型LIU估计比约束型LIU估计具有更小的均方误差.
证 约束型LIU估计的偏差向量和协方差矩阵分别为：
根据均方误差定义可得
令Δ1=MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ (k，d))-MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，则有因此，当且仅当αα′-(α-b)(α-b)′≥0时，Δ1≥0，此时MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ (k，d))≥MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，即修正约束型LIU估计比约束型LIU估计具有更小的均方误差.证毕.
-
定理4 对任意的0 < d < k，当且仅当b′2(σ2D2)-1b2 < 1时，修正约束型LIU估计比最小二乘估计具有更小的均方误差.
证 最小二乘估计的均方误差为MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ )=σ2Λ-1.令Δ3=MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ )-MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，则其中：D2=Λ-1-FdΛ-1F′d=Qdiag(γ1，γ2，…，γp)Q′，
$\gamma_{i}=\frac{\left(2 \lambda_{i}+k+d\right)(k-d)}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$ ，b2=(Fd-I)(α-b).对任意的0 < d < k，有γi>0，即D2>0.
由引理2可知，当且仅当b′2(σ2D2)-1b2 < 1时，有Δ3>0，此时MSEM(
$\mathit{\boldsymbol{\hat \alpha }}$ )>MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，即修正约束型LIU估计比最小二乘估计具有更小的均方误差.证毕.
3.1. 修正约束型LIU估计与岭估计的比较
3.2. 修正约束型LIU估计与修正岭估计的比较
3.3. 修正约束型LIU估计与约束型LIU估计的比较
3.4. 修正约束型LIU估计与最小二乘估计的比较
-
参数估计的可容许性是从统计判决的角度来衡量估计的优良性的一种标准，它是衡量估计优良性的重要准则之一[9].本文在二次损失函数下讨论修正约束型LIU估计的可容许性.
引理3[10] 对于线性回归模型，若R(Xn×p)=p，则
$\mathit{\boldsymbol{A\hat \beta }}$ 是Cβ的可容许性估计的充分必要条件为：定理5 修正约束型LIU估计
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)在二次损失下是β的可容许性估计.证 因为
所以
$\frac{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^\prime }}}{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}}} = \mathit{\boldsymbol{Q}}{\mathop{\rm diag}\nolimits} \left\{ {\frac{{{\lambda _i} + tk + (1 - t)d}}{{{\lambda _i} + k}}} \right\}{\mathit{\boldsymbol{Q}}^\prime }$ .当k≥d时，有
$\frac{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^\prime }}}{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}}} \le 1$ ，即A(X′X)-1A′≤A(X′X)-1.根据引理3知，
$\mathit{\boldsymbol{\hat \beta }}$ (k，d，B)在线性估计类中是β的可容许性估计.证毕.
-
为了进一步考察新估计的均方误差的表现，对以上估计类的均方误差进行Monte Carlo数值模拟研究.选取Portland cement数据[5]进行分析，其中
利用最小二乘估计
$\mathit{\boldsymbol{\hat \beta }}$ 和${\mathit{\hat \sigma }^2}$ 代替未知参数β和σ2，并令先验信息B=0.95$\mathit{\boldsymbol{\hat \beta }}$ .对设计阵X′X进行标准化，计算出该设计阵的特征值分别为：于是条件数为
$k=\frac{\lambda_{1}}{\lambda_{5}}=3.662 \times 10^{7}$ ，这个条件数远远大于1 000，说明设计阵存在严重的复共线性[11].下面分别取d=0.01，0.05，0.1，k=0.1，0.5，0.9，得出最小二乘估计(LSE)、岭估计(RE)、修正岭估计(MRE)、约束型LIU估计(RLE)和修正约束型LIU估计(MRLE)的均方误差如表 1所示.
从表 1可以看出，在均方误差准则下，当k>0，0 < d < 1时，修正约束型LIU估计的均方误差远远小于最小二乘估计、岭估计和约束型LIU估计的均方误差小，同时也比修正岭估计有更小的均方误差.并且可以发现，当固定k的值时，修正约束型LIU估计的均方误差随着d的减小而减小；当固定d的值时，修正约束型LIU估计的均方误差随着k的增大而减小.因此，当数据存在严重的复共线性时，修正约束型LIU估计的结果较好，利用修正约束型LIU估计进行参数估计具有实际意义.
-
本文提出的修正约束型LIU估计，通过引入先验信息B可以克服约束型LIU估计在参数估计中处理复共线性上的不足；通过调节给出的变参数d减少了MRE单纯利用k值带来的估计偏差，从而减少估计的MSE.从实证分析可以看出，当先验信息固定时，均方误差随着|k-d|的增大而减少.所给出的随机线性约束避免了估计参数β在某些方向上严重偏离实际值，而增加β的先验信息后对β进行统计推断，其估计结果更可信，因而该估计方法更具有统计意义.