科学出版社分享 http://blog.sciencenet.cn/u/sciencepress 中国最大的综合性科技出版机构之一,科学家的出版社!

博文

周志华:深度森林 |《国家科学评论》

已有 5087 次阅读 2018-10-10 15:38 |个人分类:国家科学评论|系统分类:论文交流

 

0.jpg


内容提要


《国家科学评论》在线发表了南京大学周志华教授等人撰写的研究论文:


Deep Forest

Zhi-Hua Zhou and Ji Feng

Natl Sci Rev 2018; doi: 10.1093/nsr/nwy108

https://doi.org/10.1093/nsr/nwy108


文章讨论了深度学习模型成功的三个重要因素,并在此基础上提出了“深度森林”模型,为新型深度学习模型的设计开拓了道路。





深度学习是目前人工智能和机器学习中最热门的研究领域。现有深度学习技术是通过神经网络模型来实现的,因此一般认为“深度学习”接近于“深度神经网络”的同义词。虽然深度学习取得了巨大的成功,直接掀起了这一波人工智能热潮,但有很多问题仍然笼罩在谜团之中,例如学界对“深度模型成功的原因是什么”这个基本问题还没能给出答案。

近日,NSR在线发表了周志华教授等人撰写的研究论文“Deep Forest”,对这个问题进行了探讨。

作者认为深度学习模型的成功有三个重要因素,即逐层加工、内部特征变换、以及充分的模型复杂度。进一步,作者猜想只要能设计出满足上述条件的模型,就可能成为有效的深度学习模型,未必一定要使用神经网络。

10-10.jpg

深度森林结构图示

基于这个认识,作者提出了“深度森林”模型。一方面,该模型对上述猜想进行了验证。另一方面,这是第一个基于不可微构件的深度学习模型,其训练过程不需BP(error Back Propagation,误差反向传播),不依赖梯度计算。在涉及符号、离散建模或混合建模的任务上,该模型是对擅长数值建模任务的神经网络模型的有益补充。

该工作打破了深度学习只能基于神经网络模型的认识,为新型深度学习模型的设计开拓了道路;文章关于深度学习成功因素的讨论,也为机器学习理论界进一步的严格分析探讨提供了启发。


640.gif



《中国科学》杂志社 Science China Press 

公众微信号:scichina1950

wechat.jpg



https://wap.sciencenet.cn/blog-528739-1140079.html

上一篇:诺奖往事丨诺奖科学家如何推动人类文明的进步与发展
下一篇:人体的奇特功能丨令人惊奇的大脑
收藏 IP: 124.17.27.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 16:21

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部