||
(一)SVM结构
(1)引入模型复杂度概念;(2)SVM引入--间隔最大化概念;
(3)软间隔有松弛变量; (4)非线性核与升维打击。
(二)具体阐述
(1)SVM--突破线性分类器的极限?
(2)结构风险最小与间隔最大化
如何最保险的分开两组点?
(3)二次优化框架
接下来是问题转化:不等式优化-->等式优化-->无约束优化-->梯度下降,此时引出Lagrange(拉格朗日)函数来解决这个问题。
(4)找不到间隔怎么办?
采用正则化的思想,减小测试误差。
把无穷惩罚变为有限惩罚,此时可以让一些点出错,让一些点进入到边界中去,增加容错能力,有了此能力后由硬间隔变为软间隔。
(5)C越大还是越小正则越厉害?
C越小越好,是控制过拟合的因子。
(6)线性不可分怎么办?
解决办法是Kernel Trick 。联想特征工程。
(7)核函数为什么有用?
其实真实是不知道支持向量,α是无解的,只是一个分析。因而需要转换难点,先对w求导得0,然后再对α求导求最大。
利用强对偶(strong duality)调转个:
核函数的简化作用很厉害:
VC维趋于无穷!
(8)引入非线性核增大拟合力的本质在于什么?
缺点是:容易过拟合!
(9)升维打击与非线性分类的形象理解
高斯核(rbf):
SVM的核心思想是正则,越限制,越自由;越自律,越自由!
复杂结构与正则化,控制过拟合:
点滴分享,福泽你我!Add oil!
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 10:20
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社