博文
NMF on Kernels
|
论文原文：2006-Non-negative Matrix Factorization on Kernels.pdf
https://wap.sciencenet.cn/blog-795564-668628.html
上一篇：SymNMF with pairwise constraints
下一篇：spectral clustering on budget
文章的主要贡献在于针对NMF的缺点，提出kernel NMF。相比于NMF来说，Kernel NMF通过一个非线性的映射可以获取更多数据的信息，另一方面，Kernel NMF不要求知道数据的详细信息，只需要每个数据之间的联系即可，最后，kernel NMF可以处理那些特征为负值的数据点。
Kernel NMF首先通过一个非线性映射将数据映射到一个新的空间：
然后在新的空间中做普通的NMF，分解之后的指示矩阵同原始空间中是相同的：
因为具体的映射函数我们是不知道的，因此需要使用Kernel Trick的方法，得到
容易看到，上式的左边是kernel的定义，我们不需要了解详细的映射定义，只需要知道他们的内积即可。关于kernel的选择可以使高斯核、多项式核等。用和韩式替代上式，则可以得到
文中同时分析了，当有新的数据点加入时的表示方法，这和上面的方法类似，在此不再详细阐述。容易看出上式和普通的NMF具有相同的表示形式，因此可以使用同样的方法进行求解。本文中，作者为了更加快速便捷的求解，使用了sub-pattern的方法。
假设给定m个数据，每个数据都是n维的，将维度降低p倍，数据矩阵由原来的n*m的矩阵V转换到n/p * mp的矩阵U，
这时，定义核矩阵使用矩阵U作为数据矩阵，然后分解该核矩阵得到指示矩阵，最后将指示矩阵还原
在原来Kernel NMF的基础上，使用L2,1范数代替F范数，以此来减弱离群点的影响。
https://wap.sciencenet.cn/blog-795564-668628.html
上一篇：SymNMF with pairwise constraints
下一篇：spectral clustering on budget
