科学网

 找回密码
  注册
搜索
热搜: 科学 论文
搜索
读杰夫•霍金斯的《人工智能的未来》
王兆浪 2019-6-11 23:13
杰夫•霍金斯的《人工智能的未来》,虽然成书于2006年,但其中对人工智能的判断,现在读来,仍不过时;对神经网络的缺陷的陈述,现在依然正确,因为这些缺陷依旧没被没有突破。 以下几点对我来说启发最大: 1、反行为主义:主流人工智能开发最大错误就是“相信智能是以智能行为来定义”; 2、大脑皮层智能核心:存 ...
个人分类: 生活感悟|1926 次阅读|没有评论
BERT阅读笔记---BERT的模型在11个NLP任务上的提升从哪里来?
王兆浪 2018-11-23 13:30
BERT:源自Transformers的双向编码表示 BERT的模型在11个NLP任务上的提升从哪里来? 是从更大规模数据集来?从训练方案改进上来?还是从模型设计上来? 以模型:OpenAI GPT (和BERT差异最小,如下图) 为比较对象,以SST-2任务作为主要比较平台,以论文为数据来源,看看能不能回答这个问题。 其实,当我看到下面 ...
个人分类: 科研笔记|4428 次阅读|没有评论
1644
王兆浪 2018-8-22 23:13
总是这样。 中午1200-1300常常没休息好,1300到1359会打盹,到1400慢慢精神会好一点,然后工作一段时间之后,精力消耗完了,抬头一看赫然写着1644,再有很久,大概到1930渐渐会有警觉,但直到2000人才会比较清醒。 总是这样,总是到了1644,头脑发昏,总是这样……
个人分类: 科研笔记|1451 次阅读|没有评论
Generating Sentences From a Continuous Spaces 翻译
王兆浪 2018-4-28 16:13
论文链接:https://arxiv.org/abs/1511.06349 文章涉及公式符号: 1,z是什么,是encoder的隐层输出向量:z=PHEIenc(x) 2,p(z) 为z的先验分布,假设为高斯分布 3,q(z|x) 为z的后验分布 4,优化目标:极大似然p(x|z) 5,优化目标2:z对x的后验分布接近其先验分布,即:p(z)和q(z|x)的KL散度尽量小。 翻译 ...
个人分类: 科研笔记|3597 次阅读|没有评论
舆情之正负面
王兆浪 2017-12-13 20:11
应该说, stanford 的 RNTN 模型的语言性是比较强的。 【链接: https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf 】 与之相比,很多模型仅在输入 embedding 处无法跳过的地方被迫地用了语言的东西:词。这么做的一个很重要的理由是:端到端模型最真实将问题呈现给模型,语言性东西模型会自行领 ...
个人分类: 科研笔记|2645 次阅读|没有评论
关于SEQ2SEQ序列模型一些想法
王兆浪 2017-12-13 17:15
一直有一个念头,利用 SEQ2SEQ 实现认知语言学中的“隐喻式”到“一致式”的转换【以下简称:隐喻式转换】。“隐喻”包含结构以及词的“隐喻”。如果可以做到这一点,那么基于“一致式”的语句做 NLP 任务将会变得容易很多,比如:消歧,相似句等等。 在工作中,本人就兜兜转转地将很多 NLP 任务转换成隐喻式 ...
个人分类: 科研笔记|3884 次阅读|没有评论
NLP机器学习分类任务所犯入门级错误---记录1
王兆浪 2017-10-17 16:58
任务一:文本二分类 现象:训练时,某些batch正确率接近1,某些准确率接近0,很多个epoch之后变化也不大。测试准确率50%左右(测试样本平均)。 分析:模型是同事根据论文写得模型,而且应用到英文文本分类也没有大问题!所以并没有去怀疑本身,只是检查了一下字符编码,发现没问题!调整学习率,卷积核尺寸,dropout ...
个人分类: 科研笔记|3270 次阅读|没有评论
由“短期记忆---7个概念”所想
热度 1 王兆浪 2017-8-4 12:13
心理学上,关于短期记忆,常常提到的数字是7±2,说的是人的短期记忆容量是7±2概念! 在自然语言处理上,有“句子深度假说”,说得是人们在构造一个句子时需要存储的最多的符号数叫做句子深度,这个符号数引用心理学的数字“7±2”,说得是,一个句子如果符号数(概念数)太多的话,这个句子将会特别难理解! 在行文,写 ...
个人分类: 生活感悟|2281 次阅读|1 个评论 热度 1

本页有 2 篇博文因作者的隐私设置或未通过审核而隐藏

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-4-16 09:50

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部