深度学习是目前人工智能和机器学习中最热门的研究领域。现有深度学习技术是通过神经网络模型来实现的，因此一般认为“深度学习”接近于“深度神经网络”的同义词。虽然深度学习取得了巨大的成功，直接掀起了这一波人工智能热潮，但有很多问题仍然笼罩在谜团之中，例如学界对“深度模型成功的原因是什么”这个基本问题还没能给出答案。

近日，NSR在线发表了周志华教授等人撰写的研究论文“Deep Forest”，对这个问题进行了探讨。

作者认为深度学习模型的成功有三个重要因素，即逐层加工、内部特征变换、以及充分的模型复杂度。进一步，作者猜想只要能设计出满足上述条件的模型，就可能成为有效的深度学习模型，未必一定要使用神经网络。

深度森林结构图示

基于这个认识，作者提出了“深度森林”模型。一方面，该模型对上述猜想进行了验证。另一方面，这是第一个基于不可微构件的深度学习模型，其训练过程不需BP（error Back Propagation，误差反向传播），不依赖梯度计算。在涉及符号、离散建模或混合建模的任务上，该模型是对擅长数值建模任务的神经网络模型的有益补充。

该工作打破了深度学习只能基于神经网络模型的认识，为新型深度学习模型的设计开拓了道路；文章关于深度学习成功因素的讨论，也为机器学习理论界进一步的严格分析探讨提供了启发。

转载本文请联系原作者获取授权，同时请注明本文来自科学出版社科学网博客。

链接地址：https://wap.sciencenet.cn/blog-528739-1140079.html?mobile=1

收藏

分享