wzlyulbs的个人博客分享 http://blog.sciencenet.cn/u/wzlyulbs

博文

Generating Sentences From a Continuous Spaces 翻译

已有 3600 次阅读 2018-4-28 16:13 |个人分类:科研笔记|系统分类:科研笔记

论文链接:https://arxiv.org/abs/1511.06349

文章涉及公式符号:

1,z是什么,是encoder的隐层输出向量:z=PHEIenc(x)

2,p(z) 为z的先验分布,假设为高斯分布

3,q(z|x) 为z的后验分布

4,优化目标:极大似然p(x|z)

5,优化目标2:z对x的后验分布接近其先验分布,即:p(z)和q(z|x)的KL散度尽量小。


翻译

标题:从连续语义空间生成语句

摘要:标准的循环神经网络语言模型一次只生成句子的一个词,并且没有work from明确的全局的句子表示。本文介绍一种基于RNN的可变自编码生成模型,它能incorporates整个句子的分布式的隐藏的表示。这种factorization允许它对句子风格、主题以及高层次的句法等整体特征做直接的建模。对这些句子表示的先验分布的采样再做确定性的解码可以显著地产生截然不同而有形式完整的句子。通过检查贯穿隐藏的语义空间路径,我们可以产生连贯的新奇的句子,形式上,这些句子是已知句子穿插组合而成。我们提供了解决复杂学习问题的技术,证明了其在找丢失词的有效性,探索了许多隐藏语义空间的有趣的特性,并且呈现了在语言建模上的负面结果。

第一节:简介(略)

第二节:背景

2.1 无监督语句编码

标准的RNN语言模型基于前一个词和一直演变的隐层状态来预测每一个词,虽有效,但它没有学习得到全句的表示。为了包含一个连续的潜在的句子表示,我们首先需要一种句子到分布式表示的映射方法,这种分布式表示可以通过无监督学习的设定来训练。强生成式模型不适合解决这个问题,与此同时,三种非生成式的技术:序列自编码器,skip-thought,和篇章向量显示了他们在这方面的能力。序列自编码器在两个任务上显示它的一些成功:1.预训练的序列模型及下游的监督学习任务,2.生成完整的文档。一个自编码器由一个编码函数PHEIenc,一个概率解码模型p(x|z=PHEIenc(x))组成,它会最大化样本x对z(对x学习得到的编码)的似然概率。在序列自编码的情况下,编码器和解码器都是RNNs,样本是符号序列。

标准的自编码器在抽取全局语义特征时是无效的。表一中展现的是两个句子的编码的路径或同伦的计算及每个中间节点编码的解码结果。中间句子总体而言是不合语法的,并且变换过程也不是流畅的。这说明这些模型并没有从句子的编码中学习到流畅的,可解释特征系统。另外,因为这些模型没有加入一个z的先验分布概率,他们不能根据概率去生成一个新奇的句子。同样地,Iyyer提供了一种根据任意句法机构,利用树形自编码器生成句子的方法,但是那个模型只能转换已有的句子而不能生成全新的句子。

其他两个模型显示了其学习句子编码的能力,但是不能用作生成式的应用场景:skip-thought模型采用的同样的模型结构:序列自编码,但是生成文本的时候是依赖目标句子临近的句子,而不是临近句子本身。最后段落向量模型是非循环句子表征模型,在段落向量模型中,句子编码从基于梯度的对预期编码向量的推断来得到,该向量的目的是利用其预测句子中的词。

2.2 变分自编码

可变自编码(VAE)是一个基于标准自编码的正则化版本的生成式模型。该模型将一个先验分布强加在隐藏编码z上,确保z是规整几何形式的,确保他可以从模型中利用原始抽样方法抽取合适的样本。

VAE修改了自编码结构:将确定的PHEIenc替换成一个学习得到的后验的认知模型q(z|x)。这个模型参数化去近似的上的后验分布z对x(神经网络完成“对”)的后验分布,其中z通常是对称高斯分布。直觉上将,VAE学习得到的不只是单个节点而是隐藏空间椭球区域的编码,使得编码充满整个隐藏空间而不是简单地记忆训练数据为独立的编码。

假如VAE在标准自编码重建目标下训练,它将会决定性地从输入学习,如此将会使得z对x的后验分布变得非常小。不同的是,VAE使用一个鼓励模型保持后验分布接近先验分布(通常是一个标准高斯分布,miu=0,delta=1)的目标。额外地,这个目标是在数据真实log极大似然的合理下界,使得VAE是一个生成模型。这个目标形式如下:

L(theta;x) = -KL(qtheta(z|x)||p(z)) + Eqtheta(z|x)[logptheta(x|z)]  ≤  logp(x)   (1)


上式使得模型能够从每个隐藏空间的点解码出看似比较真实的句子,这个隐藏空间在先验分布的约束下,有着非常合理的概率分布。


第三节:一个句子变分自编码器

第四节:结果:语言建模

...



http://wap.sciencenet.cn/blog-3141079-1111355.html

上一篇:舆情之正负面
下一篇:1644

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-4-19 19:27

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部