Logistic Regression逻辑斯蒂回归

Logistic Regression

logistic回归是统计学习中的经典分类方法,他属于对数线性模型,logistic回归来源于logistic分布,先从logistic分布说起

Logistic distribution

设X是连续随机变量,X服从logistic分布,其分布函数和概率密度函数如下:

分布函数

其中,μ为位置参数,s为形状参数
1.png
2.png
分布函数记为通常所说的logistic函数,其图像关于(μ,0.5)对称,即满足:
F(-x+μ)+F(x-μ)=1
曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)
形状参数s的值越小,曲线在中心附近增长得越快

概率密度函数

其中,μ为位置参数,s为形状参数
3.png
4.png

二项logistic回归

二项logistic回归(binomial logistic regression)是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的logistic分布.这里,随机变量X取值为实数,随机变量Y取值为1或0.通过监督学习的方法来估计模型参数

概率的公理化定义

柯尔莫哥洛夫给出了概率的公理化定义:

  • 0≤P(A)≤1
  • P(Ω)=1,P(∅)=0,必然事件概率为1,不可能事件概率为0
  • 加法定理:若干个互斥事件之和的概率等于各事件的概率之和,即P(A1+A2+…)=P(A)+P(B)+…事件的个数可以是有限的或无限的

    条件概率分布

    二项logistic回归模型是如下的条件概率分布(该条件概率分布满足上述公理化定义,所以可以作为概率,通过训练使得这个概率值更准确):
    5.png
    或表示成如下形式
    6.png
    logistic回归采用的是logistic分布函数,对于任意x,F(x)最小值为0,最大值为1,相当于把实数域R映射到(0,1)上.
    对于给定的输入实例x,按照上式求出P(Y=1|x)和P(Y=0|x),比较两个条件概率的大小,将实例x分到概率值较大的那一类.

    logistic回归模型的特点

    事件发生的概率与不发生的概率之比称作事件的几率(odds),考察logistic回归的对数几率(log odds)或logit函数:
    7.png
    这就是说,在logistic回归模型中,输出Y=1的对数几率是输入x的线性函数.或者说,输出Y=1的对数几率是由输入x的线性函数表示的模型,即logistic回归模型(同样地,输出Y=0的对数几率是-wx,x越大则Y=0的对数几率越小,x越小则Y=0的对数几率越大.这样说不满足几率的定义,但是这样解释没有问题,嗯)
    换一个角度看,考虑对输入x进行分类的线性函数wx,其值域为实数域.注意这里x∈R(n+1),w∈R(n+1).通过logistic回归模型可以将wx转换为概率.这时,线性函数wx的值越接近正无穷,概率值越接近1;线性函数wx的值越接近负无穷,概率值越接近0
    这样的模型就是logistic回归模型

    模型参数估计

    8.png
    关于极大似然法(Maximum Likelihood Estimation),可以参考之前的文章极大似然估计
    9.png
    求得使L(w)取得最大值的w也就得到logistic回归模型了
    logistic回归学习中通常采用的方法是梯度下降法(Gradient descent)和拟牛顿法(Quasi Newton method),见之前的文章梯度下降拟牛顿法

    多项logistic回归

    之前介绍的是二项logistic回归,用于二分类.可以将其推广为multi-nomial logistic regression model.用于多类分类.
    假设离散型随机变量Y的取值集合是{1,2,…,K},那么多项logistic回归模型是:
    10.png
    二项logistic回归的参数估计方法也可以推广到多项logistic回归中

参考:
李航,统计学习方法