A direct formulation for sparse PCA using semidefinite programming

素颜马尾好姑娘i 2021-12-21 20:41 127阅读 0赞

*  背景
 *  Sparse eigenvectors(单个向量的稀疏化)
    
     *  初始问题（low-rank的思想？）
     *  等价问题
     *  最小化\\(\\lambda\\) 得到下列问题（易推）
     *  再来一个等价问题
     *  条件放松（凸化）
 *  A robustness interpretation
 *  收缩
 *  关于半正定规划，回头再看看。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01UYW5kSEo_size_16_color_FFFFFF_t_70]

## 背景 ##

上篇总结了一些收缩法，这篇论文就是一个示例，虽然这篇论文是在那人之前写的。

## Sparse eigenvectors(单个向量的稀疏化) ##

\\(A \\in \\mathrm\{S\}^\{n\} \\rightarrow n\\times n半正定矩阵\\)

### 初始问题（low-rank的思想？） ###

![在这里插入图片描述][2019011820525349.png]  
\\(\\mathbf\{Card\}(x)\\)表示\\(x\\)里面的非零元的个数。

### 等价问题 ###

![在这里插入图片描述][20190118205400172.png]

### 最小化\\(\\lambda\\) 得到下列问题（易推） ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01UYW5kSEo_size_16_color_FFFFFF_t_70 1]

### 再来一个等价问题 ###

![在这里插入图片描述][20190118205700689.png]  
思路：  
\\(x^\\mathrm\{T\}Ax=\\mathbf\{Tr\}(x^\\mathrm\{T\}Ax) = \\mathbf\{Tr\}(Axx^\{\\mathrm\{T\}\})\\)  
\\(xx^\{\\mathrm\{T\}\}\\rightarrow X\\)  
显然\\(X\\)是需要符合那些额外条件的。

### 条件放松（凸化） ###

![在这里插入图片描述][20190118210122607.png]

## A robustness interpretation ##

考虑惩罚项：  
![在这里插入图片描述][20190118210509770.png]

![在这里插入图片描述][20190118210528717.png]

![在这里插入图片描述][20190118210543772.png]

最大化最小，体现了robust？  
![在这里插入图片描述][20190118210602491.png]

最后是算了最大里面的最小，这才是robust?  
![在这里插入图片描述][20190118210616260.png]

## 收缩 ##

结果就是取\\(X\\)的首特征向量，然后，再利用Hotelling's deflation（之前也分析过了，这个收缩方法其实并不适用，用正交投影比较好）。

## 关于半正定规划，回头再看看。 ##

转载于:https://www.cnblogs.com/MTandHJ/p/10527972.html

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01UYW5kSEo_size_16_color_FFFFFF_t_70]: /images/20211220/a96b3b94635748c2802df368704f0428.png
[2019011820525349.png]: /images/20211220/e2803c434d344aa38198184a138dee25.png
[20190118205400172.png]: /images/20211220/5e7dbee9bd7f43b4aeac0ab2e1639d09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01UYW5kSEo_size_16_color_FFFFFF_t_70 1]: /images/20211220/27eee9812819434a84007fa087716d98.png
[20190118205700689.png]: /images/20211220/6422a5f03d1c4eaeadef5bfa6972290a.png
[20190118210122607.png]: /images/20211220/6569229dc6404b90a59ecae139560f16.png
[20190118210509770.png]: /images/20211220/40d4af0582934cf3886866dddf5a5904.png
[20190118210528717.png]: /images/20211220/5ff01836bed6465e80752db27fd17a70.png
[20190118210543772.png]: /images/20211220/b73ccb43df9b4af2be3195d99d18e129.png
[20190118210602491.png]: /images/20211220/bb05d6a81bb249ea9b02c99a760810b6.png
[20190118210616260.png]: /images/20211220/d87fb7cec55c4e87bf20813a8227abdf.png