走进平常分享 http://blog.sciencenet.cn/u/cosismine 40岁,追求卓越,却走进平常

博文

[转载]漫谈 Clustering 系列 - 笔记

已有 469 次阅读 2021-3-12 20:17 |系统分类:科研笔记|文章来源:转载

 https://blog.csdn.net/cmonkey_cfj/article/details/19091077

假期发现个神博客,把博主资料拉出来膜拜Orz

 Chiyuan Zhang

Computer Science& Artificial Intelligence Laboratory (CSAIL)

The Center forBrains, Minds & Machines (CBMM)

MassachusettsInstitute of Technology (MIT)


下面笔记下聚类系列文章。

 

漫谈 Clustering 系列

·        漫谈 Clustering (1): k-means

K-means是将N维欧式空间中的点进行聚类的经典算法,很简单。

对于每一个 cluster ,我们可以选出一个中心点 (center) ,使得该 cluster 中的所有的点到该中心点的距离小于到其他 cluster 的中心的距离。

距离用欧式距离,就是两个向量的差的模;中心是到类内所有点的距离之和最小的位置,经计算可知中心就是所有类内点的平均值,所以叫K-means(K均值)。其中K是类别数,需要用户指定。

计算步骤 略 文中有详细讲解。复杂度O(N)

存在的问题

1. 不能自动确定 聚类个数K

如何确定聚类个数呢?可以观察数据,根据先验知识自行确定(这不是废话= =);还有专门确定聚类个数的方法,大致就是用特定的目标函数衡量K,求个目标函数极值。  
抛开K-means不讲,好些方法都需要给定聚类数,pluskid后面专门写了篇文讨论聚类数的。一些方法在聚类的过程中可以对类进行分裂或组合,从而改变类的个数,使目标函数最大的类别数是非平凡的(不像K-means, 使各距离最小的聚类个数就是点数,即每个点自己一类,当然距离最小,这样平凡的结果不是我们想要的)。层次聚类的方法干脆不给出一个确定的聚类方案,各种类别数的都有,要啥随便取,绕开了类别数的问题。

2.   中心初值的选取影响聚类结果

想象目标函数是个大波浪线,九曲十八弯,计算过程相当于在线上走,每次都会向下走一点,直到陷入一个坑中,作为最终结果。显然,最初站位的好坏影响着最终结果。

3.  容易受 噪声干扰。

中心是类内所有点的均值,如果有个噪声点,夸张点,在整体数据集的十万八千里外,一均值,它会把所在类别的中心给扯走老远。

4.   聚类结果是个 球形。类内的点离中心点的欧式距离最近,这些点会以中心点为圆心成球形(或者超球体)。其他形状的就不适用了。

并且点的距离可以用欧式距离来衡量。后面介绍的方法,有些只要知道两两点之间的相似度就好了。对于K-Means,只有相似度矩阵,不能直接用,除了用相似度来代替欧拉距离外,中心也不再是简单的均值了。

 

·        漫谈 Clustering (2): k-medoids

有时欧氏距离是不适用的,比如数据为整数,有0和1,均值为0.5是要闹哪样= =. 所以用相似度矩阵代替吧,可以人为设定点的相似度,扩展性更好,还方便诸如半监督的改进(例如,已知某些点不在同类,减小对应相似度的值就好了)。上面提到如果用相似度矩阵代替,中心就不再是均值了,那该是什么呢?K-medoids里用数据点作为类的中心,即选择与类内点的相似度之和最大的点作为中心。计算过程与K-means类似,但是要选出中心,复杂度较高O(N^2). 相比更robust,因为中心是实际的数据点,受噪声影响更小。


·        漫谈 Clustering (番外篇): Vector Quantization

突然扯到向量量化,作为K-means的应用介绍。向量量化,我的理解就是从N维向量空间到一维实数域的映射,嗯,就是把向量压缩成一个数。乍一看,想到的是自组织映射。文中用的聚类,大致是把一堆向量聚成好几类,用类号来代表每个向量,聚类的方法当然就用经典的K-means啦。这么干有什么好处呢,比如做图像压缩,有损的压缩,每种颜色(R,G,B)就是个向量,可以把相似的颜色用一种颜色代替。哪些颜色相似呢?聚类啊!事先存个颜色表,里面是每类的中心,图像里每个像素上只要存类号即可,不用存整个颜色向量了。

说起图像压缩,之前写过几个,哈夫曼和小波。

Huffman编码,这个大家都知道的,大致思想是把数据都重新编码,希望出现频率高的数据编码短,频率低的编码长,从而降低平均码长。对于颜色比较单一的效果好,如果颜色比较多,外加存个码表,有时压缩了反而更大。。

小波编码,将图像小波变化下,分成四个频带,大部分信息都聚集在低频子带,高频子带中聚集着图像边缘和纹理信息。压缩图像,可以只取低频子带,扔掉其余的,或者再花些功夫,把高频子带编码下,常见有EZW和SPINT算法。


·        漫谈 Clustering (3): Gaussian Mixture Model

GMM和K-means很像(GMM中各类的方差和聚类系数相等,再取个ln,就相当于是K-means,再乘些常数系数)。相比K-means,GMM不仅可以给出点的类别,还能给出点属于该类的概率,称作软划分(soft),K-means就是硬划分(hard).在聚类方面,可以认为每类的点遵循一个高斯分布,均值就是类的中心。把K类的高斯分布乘上权重(聚类系数)加起来,就是高斯混合模型GMM. GMM说是可以任意程度近似任意连续函数(高大上= =),经常用来估计密度。

计算上,抛去类别数K,需要求三组参数,各类的聚类系数、均值和方差。

似然估计的角度,希望数据出现的概率尽量大,假设各数据独立出现,这个概率就是p(xi)的乘积(i=1..N)。用这个式子(通常先取个ln,方便计算)分别对那三组参数求导,取导数为零时的极值,即为各参数的似然估计解。不过解的形式比较复杂,没方直接算,一般用EM迭代着算个局部最优解出来。

另一种角度是Bayes估计,希望类别的后验概率尽量大,和似然估计的差别是多乘了个先验概率 p(K|X)=p(X|K)*p(K)/p(X) 通常忽略p(X)不计,不影响类别。比如抛硬币,抛了10回都是正面(这人品),似然估计出来正面概率是1,反面是0,这显然不对啊。如果加上先验概率,p(正)=p(反)=0.5,后验概率顶多正面概率大些,反面不至于为零。可以看出没有先验知识的似然估计容易过拟合数据。当数据量足够大时,Bayes估计向似然估计收敛,殊途同归嘛。但是这先验概率也不是那么好加的,通常只是选择和后验概率相同形式的模型,方便计算。

具体过程见链接吧,详细推导见《Patternrecognition and Machine learning》Chapter9 讲的清楚漂亮。

计算复杂度上,GMM的EM过程比K-means慢不少,一种方法是先用K-means算个大概的均值(中心),作为GMM的初值,再EM,速度快效果好(聚类是各种算法的好助手= =~)。

 

文中还谈到机器学习的归纳偏执。为了将学到知识存起来,并用于新事物,人会进行归纳。对应着机器学习,就是算法假设的模型,比如假设这个概率密度是高斯分布,要做的是归纳出高斯分布的参数。归纳的太细,会过拟合数据;太宽泛,效果又不好。难点在于找到那个平衡点。

“不过人在这里相对于(现在的)机器来说有一个很大的优势:人通常不会孤立地用某一个独立的系统和模型去处理问题,一个人每天都会从各个来源获取大量的信息,并且通过各种手段进行整合处理,归纳所得的所有知识最终得以统一地存储起来,并能有机地组合起来去解决特定的问题。”

机器学习,人工智能,希望机器能像人一样学习,从而代替人来完成一些工作。问题就来了,能否像教人类一样的教机器?人类远比当今的机器复杂,某行为学习的项目研究多年,也只训练出两岁人类的智商,谷歌那边的大脑貌似有某种小动物的智商了。另一方面,机器能做到人都无法做到的,快速的计算能力,打败了棋王什么的。人都不知道的事,怎么去教机器。就像是聚类,结果出来之前,人自己都不清楚有什么,聚完之后,还得观察分析一番才知道,哦,原来这类是水果脑残粉啊。传统的方法像教人类一样地教机器。比如语音识别,希望机器从语法学起,从而识别语音,合情合理,却始终没什么进展。深度学习一蹦出来,不教你了,你自己“脑”补去吧!结果搞出翻天覆地的进展,现在语音识别遍地都是。用机器的方式来教机器。


o   漫谈 Clustering (追忆篇): Regularized GMM

这篇是讲混合高斯模型的方差,怎么计算避免平凡解。(高大上= = 好吧 我就是没看懂…)

啊,说起混合高斯模型的方差,如果某高斯模型的均值等于某数据点,那么它的方差容易得到无穷小。想象,方差越小,波峰越抖,在该数据点的概率就越大,似然估计值就越大,所以求似然估计时方差会趋向于无穷小。但是高斯模型不会有这种问题,因为还要顾及其他数据点,而混合高斯模型中有好几个高斯模型,让其他高斯模型去顾及那些数据点吧,哇哈哈(小恶魔怎么跑出来了= =)。另外Bayes估计也不会有这种问题。


·        漫谈 Clustering (番外篇): Expectation Maximization

之前求GMM的似然估计时用到的EM算法,看链接吧= =。


·        漫谈 Clustering (4): Spectral Clustering

Spectral Clustering 其实就是通过 Laplacian Eigenmap 的降维方式降维之后再做 K-means 的一个过程。”这个降维过程,大致就是把相似度矩阵整一整,求个特征值和特征向量,保留前M小的特征值对应的特征向量,得到N*M维的矩阵,相当于从N维降到M维。文中从图分割的角度分析了原理。这么看来,谱聚类真是很适合社团检测。

谱聚类的优点

只用相似度矩阵;抓住主要矛盾,忽略次要的东西;计算复杂度比K-means小。后两项都是降了维,适用于维度非常高的问题。这么说起来,不用K-means,降了维用其他方法聚类也可以哦。

 

·        漫谈 Clustering (番外篇): DimensionalityReduction

Curse of dimension 说的就是维度太高导致的灾难,许多算法的复杂度都与数据的维度相关。为了减小维度,有两类方法,feature selectiondimensionality reduction. 前者是从原有维度中选择重要的维度,后者是重新计算出新的维度。Feature selection 也看作是dimensionality reduction的特殊情况。

降维的目的通常是为了方便计算,希望尽可能地保留原有信息。于是问题转化为如何衡量对信息的保留程度。

一种衡量方式是新旧特征向量的欧氏距离(reconstruction error)。两个向量维度不同,可以用个常量把维度不足的地方补全。

另一种方式是用方差来衡量信息量,希望它尽量的大。

当降维函数为线性的,两种方式会得到同样的结果,这种方法就是主成分分析(PCA)。线性变换矩阵大致就是每一维(列向量)选择与之前的维度垂直,并且数据方差最大的方向。PCA是降维的经典方法,地位相当于聚类中的K-means。一些缺点:一是限定在线性变换,Kernel PCA用Kernel trick将PCA推广到非线性的情况。二是“PCA实际上可以看作是一个具有 Gaussian先验和条件概率分布的 latent variable 模型,它假定数据的 mean 和 variance 是重要的特征,并依靠 covariance 最大化来作为优化目标,而事实上这有时候对于解决问题帮助并不大。”还真没看出来…回头补下。

PCA的目的是保留数据信息,但并一定有助于分类等其他问题。所以如果是为了其他问题,最好以这些问题为目标函数。比如分类,如果有数据的标签,可以用线性辨别分析(LDA)。LDA也是线性映射模型,目标函数是类内方差尽量小,类间方差尽量大。

如果不知道数据的标签,可以用MDS,目标是保持降维前后数据的相对距离一致。另一种类似的方法是Laplacian Eigenmap(LE),也就是谱聚类用来降维的方法,文中详细介绍了它。不过LE需要的相似度矩阵是局部性的,如果两点离的太远,相似度应为零。“事实上,LaplacianEigenmap 假设数据分布在一个嵌套在高维空间中的低维流形上, Laplacian Matrix L 则是流形的 Laplace Beltrami operator 的一个离散近似。”

此外还介绍了和LE类似的Locally Linear Embedding(LLE),大致就是认为一个点可以通过周围局部点线性组合出来。

LE和LLE都是非线性的,数据变了需要重新算,不像PCA一样保留个变换矩阵可以继续用。于是有人提出它们的线性形式 Locality Preserving ProjectionNeighborhood Preserving Embedding。如果用Kernel Trick再把LPP非线性化,就会又回到LE,说明两者是对应的。

 

·        漫谈 Clustering (5): Hierarchical Clustering

文中讲的也不多,直接看链接吧。感叹下python真好用。


·        漫谈 Clustering (6):Evaluation & Visualization

还未写,作者加了个油啊可怜


·        漫谈 Clustering (番外篇): Deciding the Number ofClusterings

聚类数,觉得这本来就是个需要看实际问题才能决定的参数,好多算法都留着各种参数来影响着这点。

文中主要介绍了实现AffinityPropagation的心酸史= =

 “因为虽然各种算法都或多或少地需要指定一些参数,但是这些参数从不同的角度来阐释对应的问题”


*红字mark下待补充部分

 

 





https://wap.sciencenet.cn/blog-215715-1276405.html

上一篇:为泉家跑团的泉爸鼓掌加油
下一篇:泉家跑团成功同步

0

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-5-19 04:37

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部