Logistic Regression是统计学中的经典分类方法（给出的结果是概率性的，没有是或否）；最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。Logistic Regression 和 maximum entropy model 都属于对数线性模型。

（一）基本框架和概念

       本质：Logistic Regression把不确定引入线性分类器。

（二）机器学习框架：

（三）Logistic Regression模型架构

                             （处理灰色地带）

（1）Sigmoid Function（一维形式）

（2）maximum entropy model

        Logistic Regression模型回归假设具有普适性，是线性模型中使用最广泛的模型之一，最好用的线性分类器。

       关于最大熵的详细介绍和具体理解，推荐参考以下三篇博文：

      ① 最大熵模型中的数学推导  ②图解最大熵原理  ③关于最大熵的理解

     模型推导过程中所涉及到拉格朗日乘数法（见《微积分》6.6 二元函数极值）和 极大似然估计法（见《概率论与数理统计》7.1.2 极大似然估计法）。

 （3）Sigmoid Function（二维形式）

（4）逻辑斯蒂回归结构图

（5）求解逻辑斯蒂的代价函数（或目标函数）

         需要用的极大似然函数去求解，对于似然函数与极大似然的估计，推荐参考以下博文：

        ①似然函数 极大似然估计 本质讲解

        ②基础数学系列(一)--似然函数与最大似然估计

        ③似然函数（likelihood）、最大似然函数、最小二乘解（√）

        ④什么是似然函数（Likelihood function）？ （√）