想不到有那么多人研究EM算法
2017-5-17 13:06
阅读：4887
标签：信息论, 机器学习, 似然度
介绍见：https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm
https://wizardforcel.gitbooks.io/dm-algo-top10/content/em.html
光是标题中有 EM algorithm 的论文就有3000多篇。
它通常用于混合模型（比如高斯混合模型）。 比如根据两个似然函数不同比例的混合， 求解最为符合的似然函数参数（两个高斯模型有4个参数）和比例（1个参数）。现在大数据热， 研究的人更多。
我碰巧赶上了。实验结果见下图。求出结果不算什么， 简单快速才算好。能证明收敛才算厉害。
我可是用Excel做的喔。证明嘛，我用的是语义信息方法，特别是R(G)函数（上一篇介绍的）。 具体方法和证明正在整理。
迭代收敛过程：
5次迭代后符合程度：
迭代开始：
想不到Excel做研究工具还真不错， 不但计算简单， 画图也方便。通过绘图， 容易发现错误。
补充：假设
| Py1= | 0.10000 | c1= | 35 | d1= | 8.000000 | |||
| Py2= | 0.90000 | c2= | 65 | d2= | 12.000000 |
所有EM算法都面临这个例子挑战！ 因为在M-step和E-step之间，有一个巨大裂缝， ElogP(z,y|模型）能大幅下降。如果这样， 那些收敛证明成立？
但是信道匹配算法没有问题。
转载本文请联系原作者获取授权，同时请注明本文来自鲁晨光科学网博客。
链接地址：https://wap.sciencenet.cn/blog-2056-1055447.html?mobile=1
收藏
当前推荐数：0
推荐到博客首页
网友评论0 条评论
