今天看了一篇 ECML 14 的文章(如题),记录一下。

原文链接:http://link.springer.com/chapter/10.1007/978-3-662-44848-9_38

 

这篇文章提出了一个显式考虑 x 与 y 之间的相关性的 lasso 算法。

方法很简单,就是用 μj=(1 - |rho(aj, y)|)2 作为回归系数 βj 的惩罚系数。

如下图:

所以每个回归系数的惩罚都不同,与 y 相关性越大的变量,惩罚系数 μ就越小,相应的 βj 就越不可能为 0。

 

这篇文章的主要贡献在于给出了一个高效的迭代算法,并证明了其收敛性

(注意,这是一个凸问题,所以如果收敛则一定会收敛到全局最优)。

 

算法的初始化是对应 ridge regression 的解。

迭代就两步,如下图

 

算法的收敛性:证明了目标函数是非增的(non-increasing),即 L(α(t+1)) ≤ L(α(t)) 。

先证明了两个引理。

第一个引理定义了一个辅助函数

并证明 G(α(t+1)) ≤ G(α(t))。

第二个引理证明 L(α(t+1)) - L(α(t))  ≤ G(α(t+1)) - G(α(t)).

结合两个引理得出:L(α(t+1)) - L(α(t)) ≤ 0.

 

最后在两个基因数据(Colon Cancer Data 和 Leukemia Dataset)上实验。