Regularization Parameter Selection of Lasso Based on L-curve

考虑线性模型：

其中：y=(y₁，y₂，…，y_n)^T为响应变量；X=[x₁，x₂，…，x_p]∈$\mathbb{R}^{n \times p}$为解释变量所组成的样本数据，x_j=(x_1j，x_2j，…，x_nj)^T，j=1，2，…，p为解释变量；β=(β₁，β₂，…，β_p)^T为线性方程的回归系数；ε=(ε₁，ε₂，…，ε_n)^T为随机误差，并且ε_i服从均值为0，方差为1的独立同分布.

1996年，文献[2]提出了Lasso方法，通过对回归系数的L₁范数进行惩罚来压缩回归系数，并使绝对值较小的回归系数被自动压缩为0，从而同时实现参数估计和变量选择，基于线性回归的Lasso模型为

其中：λ≥0为正则化参数，‖·‖₂表示L₂范数，$\|\beta\|_{1}=\sum\limits_{p=1}^{p}\left|\beta_{p}\right|$为L₁范数. Lasso正则化方法对应的优化问题是凸优化问题，具有稀疏解.

正则化参数λ的选择决定了模型的性能，因此参数λ的选择至关重要. 目前Lasso方法常通过CV，GCV，AIC，BIC等多种方法来确定参数.

1) CV方法是一种无假设，可以直接进行参数估计的变量选择的方法. 其思想是在给定样本中，拿出大部分样本进行建模(训练集)，留小部分样本用建立的模型进行预测(测试集)，并计算小部分样本的预测误差，记录误差平方和. 它的优点是预测误差小，但是计算量庞大，而且没有完整的理论依据推导，解释性较差. CV方法的公式如下：

2) GCV计算过程简单，GCV具体形式为

其中$\widehat f$是由下式给出的广义自由度：

且$\sum \lambda=\operatorname{diag}\left\{\frac{\boldsymbol{p}_{\lambda}^{\prime}\left(\left|\hat{\boldsymbol{\beta}}_{1}\right|\right)}{\left|\hat{\boldsymbol{\beta}}_{1}\right|}, \cdots, \frac{\boldsymbol{p}_{\lambda}^{\prime}\left(\left|\hat{\boldsymbol{\beta}}_{p}\right|\right)}{\left|\hat{\boldsymbol{\beta}}_{p}\right|}\right\} \cdot \sum \lambda$的对角元素是罚函数p_λ(·)的局部二次逼近中的二次项系数.

但文献[8]指出GCV方法容易产生过拟合现象，即在参数选择时，λ容易过小，则非零β数量就会过多，造成模型的过拟合，从而不满足变量选择的一致性要求.

3) 基于BIC准则的正则化参数选择大致对应于在适当的贝叶斯公式中最大化选择真实模型的后验概率，BIC准则定义如下：

理论上已经证明BIC准则满足模型选择的一致性要求，由BIC准则选择的模型更加接近于真实模型，但是它只考虑了变量选择，参数估计的效果不一定好. 在高维情形下的BIC准则可见文献[10].

岭回归模型^[11]为：

其中λ≥0为正则化参数. 岭估计的罚函数是L₂范数，不能把系数压缩到零，因此不能产生稀疏解. 岭参数的选择会在很大程度上影响估计的结果.

文献[12]提出了一种新方法，通过观察由点构成的曲线确定岭回归中的岭参数. 其中横坐标为λ_i(i=1，…，l，l表示预先给定的个数)点处的损失函数‖y－Xβ‖₂²的对数值，纵坐标表示λ_i点处的罚函数值‖β‖₂²的对数值. 通过奇异值分解方法分析了该曲线的所有性质，并指出该曲线上曲率最大的点对应的正则化参数λ_i即为最优正则化参数，曲率最大的点记为L-corner. 由于曲线呈现为L形，因此Hansen将这种由残差范数和解范数为坐标点构成的曲线来寻找最优正则化参数的方法称之为L曲线准则. 文献[13]讨论了是否对横纵坐标取对数. 文献[14]介绍了L-corner的数值解法，当选择的正则化方法的正则化参数连续变动时，由残差范数和解范数为坐标构成的L曲线是光滑的，可能是二次可微的，那么L-corner就位于L曲线曲率κ(λ)最大处，L-corner处对应的λ₀即是最优正则化参数的值. 曲率κ(λ)计算公式^[14]为：

其中：ρ表示残差范数，η表示解范数，′表示对参数λ求导.

本文试运用L曲线准则在Lasso方法中确定最优正则化参数. 考虑最优化问题(3)，构造以(‖y-Xβ‖₂²，‖β‖₁)为坐标点的曲线，其中横坐标为λ_i点处的损失函数‖y-Xβ‖₂²的值，纵坐标表示λ_i点处的罚函数值‖β‖₁的值. 找出该曲线的L-corner，该点的正则化参数λ_i即为最优参数. 但通过多组不同的数据进行仿真模拟，以(‖y-Xβ‖₂²，‖β‖₁)为坐标点绘制曲线，发现不容易找到曲线拐点(图 1). 因此可以认为，对于Lasso正则化方法而言，L曲线准则不容易找出最优的正则化参数λ₀.

鉴于此，本文提出一种适合Lasso正则化参数选择的新L曲线准则. 所谓L曲线准则，是指由坐标为(‖y-Xβ‖₂²，d₀·‖β‖₁)的点构成的光滑曲线，每一个坐标点对应一个正则化参数λ_i，其中d₀表示Lasso估计中非零参数的个数. 值得注意的是，以(‖y－Xβ‖₂²，d₀·‖β‖₁)为坐标的点构成的光滑曲线为L形状(图 2). 当‖y-Xβ‖₂²与d₀·‖β‖₁同时取得最小值(曲率最大)时的点即为L-corner，对应的λ₀即为最优正则化参数. L-corner的数值解法与岭回归中L曲线准则相同，详情见文献[14]，此处不再阐述.

本节通过数值模拟，来比较在CV，GCV，BIC，LC下通过Lasso正则化方法进行变量选择以及参数估计.

考虑线性模型(2)，取σ=1，2，样本与变量数分别取n=100，200，p=12，20，200，500形成多组随机模拟数据，且β=(3，1，5，0，0，2，0，0，…)_1×p^T，x_i和x_j之间的相关系数为cor(j₁，j₂)=0.5^{|j₁－j₂|}. 在算法上，Lasso估计采用ADMM算法^[15]，分别通过CV，GCV，BIC，LC选择正则化参数. 重复进行100次模拟实验，模拟结果如表 1(低维情形)和表 2(高维情形)所示.

为比较估计精确性，需计算模型误差

通过多次的重复试验，用以下指标来评价不同参数选择方法下Lasso估计的模型性能. “MME”表示模型误差ME的中位数；“SD”表示模型误差ME的标准差；“C”表示100次重复实验中非零系数被正确估计为非零个数的均值；“IC”表示100次重复实验中零系数被错误估计为非零个数的均值；“Underfit”表示欠拟合，即在100次模拟实验中将非零系数错误估计为零的比例；“Correctfit”表示正确拟合，即在100次模拟实验中将非零系数正确估计为非零的比例；“Overfit”表示过拟合，即100次模拟实验中选择了所有重要变量并且包含了非零系数的比例.

表 1和表 2分别展示了低维数据和高维数据两种情况，在不同的随机误差水平下，运用多种变量选择的方法进行Lasso估计. 从参数估计误差角度来看，Lasso估计在LC准则下误差比CV方法选择的模型误差小，但是比BIC准则选择的模型误差大，即Lasso估计在LC准则下参数估计的效果介于CV方法和BIC准则之间. 从模型的稀疏性角度来看，Lasso估计在LC准则下选择模型较CV，GCV，BIC具有更高的正确拟合比例，具有更低的过拟合比例，即LC准则下的Lasso估计能够选择较稀疏的模型. 从变量选择的一致性角度来看，Lasso估计在LC准则下的系数估计效果比CV，GCV，BIC都好，即LC准则下Lasso估计所选择的变量的一致性较好.

本节在kaggle平台下载2019年世界186个国家的经济自由指数的相关数据，该数据集共有13个变量，涵盖186个国家的12项自由指标，从财产权到财务自由，分别为：财产权X₁；司法效力X₂；政府诚信X₃；税收负担X₄；政府支出X₅；财政健康X₆；商业自由X₇；劳工自由X₈；货币自由X₉；贸易自由X₁₀；投资自由X₁₁；财务自由X₁₂；经济自由指数Y. 对数据进行缺失值和异常值处理，剩下173个国家的样本数据. 把经济自由指数作为响应变量，其余12个变量作为解释变量，进行实例分析建模.

通过分析，从表 3可以看出，经济自由指数与其余各因素呈现较强的线性关系，即有线性模型：

其中：y_i表示第i个国家的经济自由指数(得分)，x_ij为第i个国家的第j个变量，ε_i是均值为0，方差为σ²的随机误差项.

利用OLS(最小二乘估计)，CV，GCV，BIC和LC下的Lasso估计对该数据进行分析. 变量选择结果如表 4所示. 从变量选择的数量来看，最小二乘估计(OLS) 选择了所有的变量，CV下的Lasso罚估计也选择了全部12个变量，没有达到变量选择的目的；GCV和BIC准则下的Lasso估计分别选择了11个和12个变量；通过LC准则的Lasso罚估计选择了3个重要变量，分别为X₃，X₄，X₅，模型也更为稀疏.

本文讨论了Lasso正则化方法在变量选择和参数估计中的应用，针对Lasso正则化提出了LC准则，从而更好地确定在不同数据情况下的最优正则化参数. 数据模拟和实际应用的结果都表明，Lasso估计在LC准则下能够选择较稀疏的模型，且有较高的概率选择与真实情况相吻合的模型，模型选择效果好. 另外LC准则下的模型的误差较小，参数估计效果好. 本文的LC准则同样可以推广到非线性模型中.