A New Class of Restricted Type LIU Estimator for Linear Regression Models

考虑模型(1)的典则形式：

其中：Z=XQ，α=Q′β，Q是p阶正交矩阵，Z′Z=Q′X′XQ=Λ=diag(λ₁，λ₂，…，λ_p)，λ₁≥λ₂≥…≥λ_p为X′X的特征值.

对于线性回归模型，回归系数β的岭估计定义为：

其典则形式为$\mathit{\boldsymbol{\widehat \alpha }}(k) = {(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + k\mathit{\boldsymbol{I}})^{ - 1}}{\mathit{\boldsymbol{Z}}^\prime }\mathit{\boldsymbol{y}}$，其中k≥0称为岭参数.

基于先验信息，文献[3]对岭估计进行修正，提出了修正岭估计(MRE)：

其典则形式为$\mathit{\boldsymbol{\hat \alpha }}(k, \mathit{\boldsymbol{b}}) = {(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + k\mathit{\boldsymbol{I}})^{ - 1}}\left({{\mathit{\boldsymbol{Z}}^\prime }\mathit{\boldsymbol{y}} + k\mathit{\boldsymbol{b}}} \right)$，其中B=tβ(0 < t < 1)是给定的非随机向量，b=Q′B.当k→+∞时MRE趋近于B，当k=0时MRE为最小二乘估计，因此B可以表示为β上的先验信息^[3].

文献[4]在Stein估计和岭估计的基础上提出了LIU估计：

其典则形式为$\mathit{\boldsymbol{\widehat \alpha }}(d) = {(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + \mathit{\boldsymbol{I}})^{ - 1}}(\mathit{\boldsymbol{ \boldsymbol{\varLambda} }} + d\mathit{\boldsymbol{I}}){\mathit{\boldsymbol{ \boldsymbol{\varLambda} }}^{ - 1}}{\mathit{\boldsymbol{Z}}^\prime }\mathit{\boldsymbol{y}}$，其中0 < d < 1.

文献[6]通过构造附加随机线性约束$\frac{{d\mathit{\boldsymbol{\widehat \beta }}}}{{{k^{\frac{1}{2}}}}} = {k^{\frac{1}{2}}}\mathit{\boldsymbol{\beta }} + \mathit{\boldsymbol{e}}$，e~(0，σ²I_P×p)，并结合LIU估计、最小二乘估计和岭估计提出了约束型LIU估计：

其典则形式为$\hat{\boldsymbol{\alpha}}(k, d)$=(Λ+kI)^-1(Λ+dI)Λ^-1Z′y，其中k>0，0 < d < 1.

约束型LIU估计的目标函数为

使式(7)达到最小值的解就是约束型LIU估计.

令L_k=(X′X+kI)^-1X′X，则有

因此可得修正岭估计为

从式(8)可以看出修正岭估计是一个先验信息B和最小二乘估计$\hat{\boldsymbol{\beta}}$的凸组合.

在修正岭估计的基础上，对约束型LIU估计引入先验信息B和最小二乘估计$\hat{\boldsymbol{\beta}}$组合，可类似得到新的约束型LIU估计，称之为修正约束型LIU估计(MRLE).

根据式(8)，令H_(k，d)=(X′X+kI)^-1(X′X+dI)=I-(k-d)(X′X+kI)^-1，并用H_(k，d)替换式中的L_k，可得修正约束型LIU估计为

其中k>0，-∞ < d < +∞.

其典则形式为

其中Λ=diag(λ₁，λ₂，…，λ_p)，λ_i(i=1，…，p)表示X′X的特征值.

由式(9)修正约束型LIU估计可变形为：

‖$\hat{\boldsymbol{\beta}}$(k，d，B)-B‖=‖[I+(k-d)(X′X+dI)^-1]^-1($\hat{\boldsymbol{\beta}}$-B)‖称为修正约束型LIU估计的欧氏距离.

令p=k-d，从式(11)可以看出，当$\hat{\boldsymbol{\beta}}$≠B时，对任意的X和y，都有$\lim\limits_{p \rightarrow 0} \hat{\boldsymbol{\beta}}(k, d, \boldsymbol{B})=\hat{\boldsymbol{\beta}}$，以及$\lim\limits_{p \rightarrow+\infty} \hat{\boldsymbol{\beta}}(k, d, \boldsymbol{B})=\boldsymbol{B}$，因此当p从零无限增加时，$\hat{\boldsymbol{\beta}}$(k，d，B)是一条经过$\hat{\boldsymbol{\beta}}$和B参数空间的曲线，随着k-d不断增大，‖[I+(k-d)(X′X+dI)^-1]^-1($\hat{\boldsymbol{\beta}}$-B)‖严格单调递减，$\hat{\boldsymbol{\beta}}$(k，d，B)无限接近于先验信息B.

设$\tilde{\boldsymbol{\beta}}$为β的一组估计类，则g($\tilde{\boldsymbol{\beta}}$)=($\tilde{\boldsymbol{\beta}}$-B)′($\tilde{\boldsymbol{\beta}}$-B)表示$\tilde{\boldsymbol{\beta}}$与B的距离函数，考虑$\tilde{\boldsymbol{\beta}}$的残差平方和f($\tilde{\boldsymbol{\beta}}$)=(y- X$\tilde{\boldsymbol{\beta}}$)′(y - X$\tilde{\boldsymbol{\beta}}$).以f($\tilde{\boldsymbol{\beta}}$)为目标函数，g($\tilde{\boldsymbol{\beta}}$)=c为约束条件，构造辅助函数

其中ξ为拉格朗日乘子.显然F($\tilde{\boldsymbol{\beta}}$)是$\tilde{\boldsymbol{\beta}}$的严格凸函数，令ξ=(X′X+dI)^-1X′X(k-d)，由$\frac{{\partial F(\mathit{\boldsymbol{\widetilde \beta }})}}{{\partial \mathit{\boldsymbol{\widetilde \beta }}}} = 0$可求得

即在β的一组与B有相同距离的等价估计类中，$\mathit{\boldsymbol{\hat \beta }}$(k，d，B)的残差平方和最小，因此引入先验信息B后，数据与模型拟合效果更好.

容易看出$\mathit{\boldsymbol{\hat \beta }}$(k，d，B)有如下特殊形式：

1) $\mathit{\boldsymbol{\hat \beta }}$(1，1，B)=$\mathit{\boldsymbol{\hat \beta }}$=(X′X)^-1X′y为最小二乘估计；

2)$\mathit{\boldsymbol{\hat \beta }}$(1，d，0)=$\mathit{\boldsymbol{\hat \beta }}$(d)=(X′X+I)^-1(X′y+d)$\mathit{\boldsymbol{\hat \beta }}$为LIU估计；

3)$\mathit{\boldsymbol{\hat \beta }}$(k，0，0)=$\mathit{\boldsymbol{\hat \beta }}$(k)=(X′X+kI)^-1X′y为岭估计；

4)$\mathit{\boldsymbol{\hat \beta }}$(k，0，B)=$\mathit{\boldsymbol{\hat \beta }}$(k，B)=(X′X+kI)^-1(X′y+kB)为修正岭估计；

5)$\mathit{\boldsymbol{\hat \beta }}$(k，d，0)=$\mathit{\boldsymbol{\hat \beta }}$(k，d)=(X′X+kI)^-1(X′y+d$\mathit{\boldsymbol{\hat \beta }}$)为约束型LIU估计.

修正约束型LIU估计$\mathit{\boldsymbol{\hat \beta }}$(k，d，B)具有如下性质：

性质1  $\mathit{\boldsymbol{\hat \beta }}$(k，d，B)是$\mathit{{\hat \beta }}$的一个线性变换.

证

用最小二乘估计$\mathit{\boldsymbol{\hat \beta }}$代替未知参数β可得

其中A=(X′X+kI)^-1[(X′X+dI)+t(k-d)]=Q(Λ+kI)^-1[(Λ+dI)+t(k-d)I]Q′，0 < t < 1.

证毕.

性质2  E($\mathit{\boldsymbol{\hat \beta }}$(k，d，B))=(X′X+kI)^-1[(X′X+dI)+t(k-d)]β.

证

证毕.

性质3  Cov($\mathit{\boldsymbol{\hat \beta }}$(k，d，B))=σ²(X′X+kI)^-1(X′X+dI)(X′X)^-1(X′X+dI)′(X′X+kI)^-1.

证

证毕.

性质4  当k>d时，$\mathit{\boldsymbol{\hat \beta }}$(k，d，B)是一个有偏、压缩估计，即||E($\mathit{\boldsymbol{\hat \beta }}$(k，d，B))|| < ||β||.

证  因为k>d时，有$\frac{\lambda_{i}+d+t(k-d)}{\lambda_{i}+k} < 1$，0 < t < 1，所以

证毕.

均方误差(MSE)反映了估计量与被估计量之间的差异程度，其定义为

定义1^[2]  设$\mathit{\boldsymbol{\hat \alpha }}$为α的一个估计，则$\mathit{\boldsymbol{\hat \alpha }}$的均方误差矩阵为MSEM($\mathit{\boldsymbol{\hat \alpha }}$)=Cov($\mathit{\boldsymbol{\hat \alpha }}$)+Bias($\mathit{\boldsymbol{\hat \alpha }}$)Bias($\mathit{\boldsymbol{\hat \alpha }}$)′，其中Cov($\mathit{\boldsymbol{\hat \alpha }}$)=E[($\mathit{\boldsymbol{\hat \alpha }}$-E$\mathit{\boldsymbol{\hat \alpha }}$)′($\mathit{\boldsymbol{\hat \alpha }}$-E$\mathit{\boldsymbol{\hat \alpha }}$)]，Bias($\mathit{\boldsymbol{\hat \alpha }}$)=E($\mathit{\boldsymbol{\hat \alpha }}$-α).

定义2^[2]  设$\mathit{\boldsymbol{\hat \alpha }}$为α的一个估计，称MSE($\mathit{\boldsymbol{\hat \alpha }}$)=tr[MSEM($\mathit{\boldsymbol{\hat \alpha }}$)]=tr[Cov($\mathit{\boldsymbol{\hat \alpha }}$)]+Bias($\mathit{\boldsymbol{\hat \alpha }}$)Bias($\mathit{\boldsymbol{\hat \alpha }}$)′为$\mathit{\boldsymbol{\hat \alpha }}$的均方误差.

修正约束型LIU估计的偏差向量为

其中：α表示典则回归系数向量，$\mathit{\boldsymbol{\hat \alpha }}$=Λ^-1Z′y表示典则回归系数的最小二乘估计向量.

由性质3可知，修正约束型LIU估计的协方差矩阵为

其中F_d=(Λ+kI)^-1(Λ+dI).

因此可得修正约束型LIU估计的均方误差矩阵为

引理1^[7]  设$\mathit{\boldsymbol{\hat \beta }}$₁=A₁y，$\mathit{\boldsymbol{\hat \beta }}$₂=A₂y为β的两个齐次线性估计，使得D=(A₁A′₁-A₂A′₂)>0，则当且仅当b′₂[δD+b₁b′₁]^-1b₂ < 1时有

其中MSEM($\mathit{\boldsymbol{\hat \beta }}$_i)=Cov($\mathit{\boldsymbol{\hat \beta }}$_i)+b_ib′_i，b_i=Bias($\mathit{\boldsymbol{\hat \beta }}$_i)=(A_iX-I)β，i=1，2.

引理2^[8]  设M为正定矩阵，α为某一向量，则M-αα′>0当且仅当α′M^-1α < 1.

定理1  令-2λ_i < d < 0，当且仅当b′₂(σ²D₁+b₁b′₁)^-1b₂ < 1时，修正约束型LIU估计比岭估计具有更小的均方误差.

证  岭估计的偏差向量和协方差矩阵分别为：

其中F_k=(Λ+kI)^-1，所以有

令Δ₂=MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k))-MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))，则

其中D₁=F_kΛF′_k-F_dΛ^-1F′_d=Qdiag(τ₁，τ₂，…，τ_p)Q′，$\tau_{i}=\frac{-d\left(2 \lambda_{i}+d\right)}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$，

当-2λ_i < d < 0时，有τ_i>0，即D₁>0.

由引理1可知，当且仅当b′₂[σ²D₁+b₁b′₁]^-1b₂ < 1时，有Δ₂>0，此时MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k))>MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))即修正约束型LIU估计比岭估计具有更小的均方误差.

证毕.

推论1  存在$d_{11}^* = \frac{{{\mathit{\Delta }^{\frac{1}{2}}} - 2{g_i}(k)}}{{2{f_i}(k)}} > 0$，对任意的0 < d < d₁₁^*使得下式成立.

其中：$f_{i}(k)=\frac{\sigma^{2}+\lambda_{i}\left(\alpha_{i}-b_{i}\right)^{2}}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$，$g_{i}(k)=\frac{\sigma^{2}-k\left(\alpha_{i}-b_{i}\right)^{2}}{\left(\lambda_{i}+k\right)^{2}}$，$h_{i}(k)=\frac{k^{2} b\left(2 \alpha_{i}-b_{i}\right)}{\left(\lambda_{i}+k\right)^{2}}$，$\mathit{\Delta } = 4g_i^2(k) + 4{f_i}(k){h_i}(k)$.

证  由定义2可知

其中：$f_{i}(k)=\frac{\sigma^{2}+\lambda_{i}\left(\alpha_{i}-b_{i}\right)^{2}}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$，$g_{i}(k)=\frac{\sigma^{2}-k\left(\alpha_{i}-b_{i}\right)^{2}}{\left(\lambda_{i}+k\right)^{2}}$，$h_{i}(k)=\frac{k^{2} b\left(2 \alpha_{i}-b_{i}\right)}{\left(\lambda_{i}+k\right)^{2}}$.

这是一个关于d的二次函数，图像开口向上，记

其判别式以及两个根分别为

当d₁₁^*>0时，对任意的0 < d < d₁₁^*，有h(d) < 0，此时有MSE($\mathit{{\hat \alpha }}$ (k，d，b)) < MSE($\mathit{{\hat \alpha }}$ (k)).

证毕.

定理2  令-2λ_i < d < 0，当且仅当b′₂[σ²D₃+b₃b′₃]^-1b₂ < 1时，修正约束型LIU估计比修正岭估计具有更小的均方误差.

证  修正岭估计的偏差向量和协方差矩阵分别为：

其中$\mathit{\boldsymbol{\tilde F}}$_k=(Λ+kI)^-1Λ，所以有

令Δ₄=MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，b))-MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，d，b))，则

其中D₃=$\mathit{\boldsymbol{\tilde F}}$_kΛ^-1$\mathit{\boldsymbol{\tilde F}}$_k-F_dΛ^-1F′_d=Qdiag(υ₁，υ₂，…，υ_p)Q′，$v_{i}=\frac{-d\left(2 \lambda_{i}+d\right)}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}=\tau_{i}$，

当-2λ_i < d < 0时，有υ_i>0，即D₃>0.

由引理1可知，当且仅当b′₂[σ²D₃+b₃b′₃]^-1b₂ < 1时，有Δ₄>0，此时MSEM($\mathit{\boldsymbol{\hat \alpha }}$ (k，b))>MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))，即修正约束型LIU估计比修正岭估计具有更小的均方误差.

证毕.

推论2  存在$d_{21}^{*}=2 \sum\limits_{i=1}^{p} \frac{\lambda_{i}\left[\sigma^{2}-k\left(\alpha_{i}-b_{i}\right)^{2}\right]}{\sigma^{2}+\lambda_{i}\left(\alpha_{i}-b_{i}\right)^{2}}>0$，对任意的0 < d < d₂₁^*使得下式成立

证  由定义2可知

这是一个关于d的二次函数，图像开口向上，其两个根分别为

当d₂₁^*>0时，对任意的0 < d < d₂₁^*，有MSE($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b)) < MSE($\mathit{\boldsymbol{\hat \alpha }}$(k，b)).

证毕.

定理3  当且仅当αα′-(α-b)(α-b)′≥0时，修正约束型LIU估计比约束型LIU估计具有更小的均方误差.

证  约束型LIU估计的偏差向量和协方差矩阵分别为：

根据均方误差定义可得

令Δ₁=MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d))-MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))，则有

因此，当且仅当αα′-(α-b)(α-b)′≥0时，Δ₁≥0，此时MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d))≥MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))，即修正约束型LIU估计比约束型LIU估计具有更小的均方误差.

证毕.

定理4  对任意的0 < d < k，当且仅当b′₂(σ²D₂)^-1b₂ < 1时，修正约束型LIU估计比最小二乘估计具有更小的均方误差.

证  最小二乘估计的均方误差为MSEM($\mathit{\boldsymbol{\hat \alpha }}$)=σ²Λ^-1.

令Δ₃=MSEM($\mathit{\boldsymbol{\hat \alpha }}$)-MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))，则

其中：D₂=Λ^-1-F_dΛ^-1F′_d=Qdiag(γ₁，γ₂，…，γ_p)Q′，$\gamma_{i}=\frac{\left(2 \lambda_{i}+k+d\right)(k-d)}{\lambda_{i}\left(\lambda_{i}+k\right)^{2}}$，b₂=(F_d-I)(α-b).

对任意的0 < d < k，有γ_i>0，即D₂>0.

由引理2可知，当且仅当b′₂(σ²D₂)^-1b₂ < 1时，有Δ₃>0，此时MSEM($\mathit{\boldsymbol{\hat \alpha }}$)>MSEM($\mathit{\boldsymbol{\hat \alpha }}$(k，d，b))，即修正约束型LIU估计比最小二乘估计具有更小的均方误差.

证毕.

参数估计的可容许性是从统计判决的角度来衡量估计的优良性的一种标准，它是衡量估计优良性的重要准则之一^[9].本文在二次损失函数下讨论修正约束型LIU估计的可容许性.

引理3^[10]  对于线性回归模型，若R(X_n×p)=p，则$\mathit{\boldsymbol{A\hat \beta }}$是Cβ的可容许性估计的充分必要条件为：

定理5  修正约束型LIU估计$\mathit{\boldsymbol{\hat \beta }}$(k，d，B)在二次损失下是β的可容许性估计.

证  因为

所以$\frac{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^\prime }}}{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}}} = \mathit{\boldsymbol{Q}}{\mathop{\rm diag}\nolimits} \left\{ {\frac{{{\lambda _i} + tk + (1 - t)d}}{{{\lambda _i} + k}}} \right\}{\mathit{\boldsymbol{Q}}^\prime }$.

当k≥d时，有$\frac{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}{\mathit{\boldsymbol{A}}^\prime }}}{{\mathit{\boldsymbol{A}}{{\left({{\mathit{\boldsymbol{X}}^\prime }\mathit{\boldsymbol{X}}} \right)}^{ - 1}}}} \le 1$，即A(X′X)^-1A′≤A(X′X)^-1.

根据引理3知，$\mathit{\boldsymbol{\hat \beta }}$(k，d，B)在线性估计类中是β的可容许性估计.

证毕.

为了进一步考察新估计的均方误差的表现，对以上估计类的均方误差进行Monte Carlo数值模拟研究.选取Portland cement数据^[5]进行分析，其中

利用最小二乘估计$\mathit{\boldsymbol{\hat \beta }}$和${\mathit{\hat \sigma }^2}$代替未知参数β和σ²，并令先验信息B=0.95$\mathit{\boldsymbol{\hat \beta }}$.对设计阵X′X进行标准化，计算出该设计阵的特征值分别为：

于是条件数为$k=\frac{\lambda_{1}}{\lambda_{5}}=3.662 \times 10^{7}$，这个条件数远远大于1 000，说明设计阵存在严重的复共线性^[11].

下面分别取d=0.01，0.05，0.1，k=0.1，0.5，0.9，得出最小二乘估计(LSE)、岭估计(RE)、修正岭估计(MRE)、约束型LIU估计(RLE)和修正约束型LIU估计(MRLE)的均方误差如表 1所示.

从表 1可以看出，在均方误差准则下，当k>0，0 < d < 1时，修正约束型LIU估计的均方误差远远小于最小二乘估计、岭估计和约束型LIU估计的均方误差小，同时也比修正岭估计有更小的均方误差.并且可以发现，当固定k的值时，修正约束型LIU估计的均方误差随着d的减小而减小；当固定d的值时，修正约束型LIU估计的均方误差随着k的增大而减小.因此，当数据存在严重的复共线性时，修正约束型LIU估计的结果较好，利用修正约束型LIU估计进行参数估计具有实际意义.

本文提出的修正约束型LIU估计，通过引入先验信息B可以克服约束型LIU估计在参数估计中处理复共线性上的不足；通过调节给出的变参数d减少了MRE单纯利用k值带来的估计偏差，从而减少估计的MSE.从实证分析可以看出，当先验信息固定时，均方误差随着|k-d|的增大而减少.所给出的随机线性约束避免了估计参数β在某些方向上严重偏离实际值，而增加β的先验信息后对β进行统计推断，其估计结果更可信，因而该估计方法更具有统计意义.