（一）传统机器学习的问题

（1）线性分类器极限

       存在线性不可分的情况。VC维提供了一个检验模型复杂度的有效方法，VC维越高的模型，模型越复杂，处理的情况越多，能够匹配的真实度越高，能力越强，可操作空间越大。当然，VC维越高，容易过拟合。

       当为4 points impossible时，线性分类器无能为力。

       关于什么是VC维，如何理解VC维？如下分析：

      VC 维是衡量函数类的复杂度的一种方式，通过评估函数类中函数的弯曲程度实现。

      ===============

      举个例子，假设 为线性指示函数类 。直观理解，该函数通过直线 将平面分成两部分，一侧取值为0，一侧取值为1。

如果该函数的VC维为 ，则表明在平面上任意给出 个点的位置及取值（0或1），总存在一条直线 将这 个点分开，一侧取0，一侧取1，也就是存在能满足这 个点的函数 。

结论是，平面中线性指示函数的VC维等于3，也就是平面中任意3个点（无论如何取值）总能被一条直线分开，而四个点却不行，如下图

       更一般地， 维线性指示函数的VC维为 .

        ===============

       举个无穷的VC维的例子，。对于实轴上任意多个的点，总存在 将其分开，如下图

       从这两个例子，可以看出VC维刻画了函数的弯曲程度，越弯曲其VC维越大。当然，VC维不限于指示函数的讨论，对于一般的实值函数，可以转换为指示函数来讨论。

       VC维参考资料：

       ①https://www.zhihu.com/question/23418822/answer/299969908

       ②https://blog.csdn.net/u013745804/article/details/80834743

       ③https://www.cnblogs.com/gkwang/p/5046188.html

（2）为了突破线性模型的局限，进行非线性突围

       方法工具可以选择非线性的随机森林（横平竖直划分空间-不太精确），此时神经网络可以登场。

（二）神经网络

图  二层神经网络分类

图 神经网络回归

（1）神经网络的发展历史

（2）神经网络三要素之一：权重矩阵

       权重矩阵Wij 进行空间投影、旋转和缩放。虽然进行了这样的操作，特征由二维转换到三维空间（拟三维），但是，特征仍集中在一个二维子空间（平面），并不能真正做到三维可分，只是形式上的三维。

（3）神经网络三要素之激活函数

       隐层激活函数--非线性

       非线性的作用：信息升维，三维扭曲力场，由假三维并为真三维（升维打击）

（4）神经网络三要素之决策层（输出）

       决策层的作用：平面分割最终进行分类

（5）总结

       神经网络中隐层神经元个数决定了模型了VC维，即复杂度。（如下边界复杂的操作）

       一个可以展示神经网络作用效果的网站：

       ① 展示圆圈数据的分类效果（隐藏层神经元数是3）--使用隐含层激活函数：

       ② 不使用隐含层激活函数，在特征端进行非线性处理（SVM的部分思想--偷懒有效）

        点滴分享，福泽你我！Add oil！