Chunqi SHI & Jonah BU

66天写的逻辑回归

The Logistic Regression Written in 66 Days

June 8, 2016

SYZYGY

Preface

逻辑回归号称实业界用的最广的机器学习算法之一。本文试图分成两大部分

进行表述：

脱脮知篇：知为本，知则有亲，有亲可久。

• 第腉部分脺逻辑回归简介

• 第腉腉部分脺广义线性模型

• 第腉腉腉部分脺最小结构风险

• 第腉腖部分脺腓腯腦腴腭腡腸回归

• 第腖部分脺最大熵模型

• 第腖腉部分脺利用熵来解释腇腌腍脬腍腡腸腅腮腴脬腍腌腅

• 第腖腉腉部分脺逻辑腐腃腁扩展

脲脮用篇：用为体，用而有功，有功则大。

• 第??部分脺对比常见算法脨腓腖腍脬腎腂脬腌腄腁脩

• 第??部分脺优化求解

• 第??部分脺并行架构

我们计划先发布知篇，在收集反馈修改后再发布用篇。从计划动笔到现在我

们一起伏案二个多月，因此这个版本我们命名为《脶脶天写の逻辑回归》。

、

chunqi.shi@hotmail.com; Jonah.Bu@outlook.com

腶

腶腩腐腲腥腦腡腣腥

请您给出意见和建议：

• 修改建议：腗腉腋腉

• 问题汇报：腉腓腓腕腅腓

Contents

Part I 逻逻逻辑辑辑回回回归归归(LR)简简简介介介

1 Logisitic回回回归归归脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳

脱脮脱对二值条件概率建模脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳

脱脮脲腌腯腧腩腳腴腩腣回归脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴

Appendices 脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脷

A 附附附录录录脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脹

腁脮脱腓腩腧腭腯腩腤函数脬腌腯腧腩腳腴腩腣函数和腌腯腧腩腴函数脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脹

腁脮脱脮脱腓腩腧腭腯腩腤函数脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脹

腁脮脱脮脲腌腯腧腩腳腴腩腣函数脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脹

腁脮脱脮脳腌腯腧腩腴函数脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脱脰

Part II 从从从广广广义义义线线线性性性模模模型型型(GLM)出出出发发发

2 广广广义义义线线线性性性模模模型型型脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脱脳

脲脮脱引入广义线性模型脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脱脳

脲脮脲深入理解广义线性模型脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脱脴

Appendices 脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脱脹

B 附附附录录录脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脱

腂脮脱指数分布族补充脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脱

腂脮脱脮脱一般形式脨腇腆脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脱

腂脮脱脮脲自然形式脨腎腆脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脱

腂脮脱脮脳均值自然形式脨腍腖腎腆脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脲

Part III 结结结构构构风风风险险险最最最小小小(SRM)的的的视视视角角角

腶腩腩

腶腩腩腩腃腯腮腴腥腮腴腳

3 结结结构构构风风风险险险最最最小小小(SRM) 脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脵

脳脮脱什么是经验风险最小脨腅腒腍脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脵

脳脮脲从经验风险到结构风险脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脷

脳脮脲脮脱直观地理解腓腒腍脨从空间角度脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脲脹

脳脮脲脮脲直观地理解腓腒腍脨从贝叶斯观点脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳脰

脳脮脲脮脳 L

正则化与L

正则化脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳脱

4 正正正则则则化化化(Regularization) 脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳脷

脴脮脱分类算法的损失函数脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳脷

脴脮脲分类界限脨腃腍脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脳脹

脴脮脳逻辑回归的过拟合与正则化脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脱

Part IV 从从从两两两类类类(Bi-Class)到到到多多多类类类(Multi-Class)

5 从从从二二二项项项(Binomial)分分分布布布到到到多多多项项项(Multinominal)分分分布布布脮脮脮脮脮脮脮脮脮脮脮脮脴脵

脵脮脱抛硬币脨腃腯腩腮腔腯腳腳脩和掷骰子脨腄腩腣腥脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脵

脵脮脱脮脱伯努力脨腂腥腲腮腯腵腬腬腩脩分布脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脵

脵脮脱脮脲二项脨腂腩腮腯腭腩腡腬脩分布脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脵

脵脮脱脮脳多项脨腍腵腬腴腩腮腯腭腩腮腡腬脩分布脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脶

6 从从从二二二项项项回回回归归归(Binomial Regression)到到到多多多项项项回回回归归归(Multinominal

Regression) 脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脷

脶脮脱腇腌腍模型的解释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脷

脶脮脲软最大脨腓腯腦腴腭腡腸脩回归脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脸

脶脮脲脮脱软最大函数脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脸

脶脮脲脮脲软最大回归的解释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脴脸

Part V 最最最大大大熵熵熵(MaxEnt)

7 最最最大大大熵熵熵原原原理理理和和和逻逻逻辑辑辑回回回归归归脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脵脳

脷脮脱最大熵原理脨腐腲腩腮腣腩腰腬腥腯腦腍腡腸腩腭腵腭腅腮腴腲腯腰腹脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脵脳

脷脮脲最大熵原理与腌腯腧腩腳腴腩腣回归的等价性脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脵脴

脷脮脳腌腯腧脭腌腩腮腥腡腲模型脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脵脶

Part VI 从从从熵熵熵(Entropy)解解解释释释GLM, MaxEnt, MLE

8 来来来自自自熵熵熵(Entropy)的的的解解解释释释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脱

脸脮脱对信息熵的理解脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脱

脸脮脱脮脱不确定性公理化解释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脱

脸脮脱脮脲期望编码长度解释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脳

脸脮脲最大信息熵原理脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脷

脸脮脲脮脱最大熵解释原理的直观理解脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脷

脸脮脲脮脲自然指数分布族的最大熵解释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脶脸

脸脮脲脮脳最大似然估计的最大熵解释脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脷脰

Appendices 脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脷脳

腃腯腮腴腥腮腴腳腩腸

C 附附附录录录脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脷脵

腃脮脱信息熵的由来脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脷脵

Part VII Logistic PCA

9 Logistic PCA和和和PCA在在在指指指数数数分分分布布布族族族上上上的的的推推推广广广脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脱

脹脮脱主成份分析脨腐腃腁脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脱

脹脮脱脮脱最大方差投影脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脱

脹脮脱脮脲最小重建误差脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脲

脹脮脱脮脳高斯随机采样脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脳

脹脮脲腐腃腁在指数分布族上的推广脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脴

脹脮脲脮脱自然指数分布族脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脴

脹脮脲脮脲腂腲腥腧腭腡腮散度脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脵

脹脮脲脮脳腐腃腁在指数分布族上的推广脨腐腃腁腦腯腲腴腨腥腅腸腰腯腮腥腮腴腩腡腬

腆腡腭腩腬腹脩脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脮脸脶

腸腃腯腮腴腥腮腴腳

主主主要要要符符符号号号表表表

符符符号号号含含含义义义

x 标量

x 向量

x 变量集合

A 矩阵

X 样本空间或状态空间

D 概率分布

方差

Σ 协方差

D 数据样本脨数据集脩

H 假设空间

H 假设集

L 学习算法

P 脨·脩脬 P 脨·|·脩概率质量函数，条件概率质量函数

p脨·脩脬 p脨·|·脩概率密度函数，条件概率密度函数

·∼D

腛f脨·脩腝函数f脨·脩在分布D下的数学期望

V ar

·∼D

腛f脨·脩腝函数f脨·脩在分布D下的方差

L脨θ脩损失函数

L脨θ|x 脩脽 P 脨x |θ脩似然脨腌腩腫腥腬腩腨腯腯腤脩函数

`脨θ脩 Log似然函数

I脨A脩腯腲 I

脨x 脩指示函数

k · k

范数，p缺省时为L

范数

∇ 向量的一次导数

∇

二次导数的腈腥腳腳腩腡腮矩阵

H  脰矩阵H半正定脨腐腓腄脩

A  脰矩阵A正定脨腐腄脩

H脨X脩腯腲 H脨p脩数据集X概率分布p脨X脩的熵

I脨X脻 Y 脩数据集X与Y 的互信息

KL脨pkq脩概率分布p与q的腋腌散度

腡腲腧腭腩腮腡腲腧腭腩腮

f脨x脩脽 {x | f脨x脩脽腭腩腮

f脨x

脩}

腡腲腧腭腡腸腡腲腧腭腡腸

f脨x脩脽 {x | f脨x脩脽腭腡腸

f脨x

脩}

Part I

逻逻逻辑辑辑回回回归归归(LR)简简简介介介

Chapter 1

Logisitic回回回归归归

1.1 对对对二二二值值值条条条件件件概概概率率率建建建模模模

首先简单的回忆一下每个人都熟知的线性回归。线性回归做了一件什么事情

呢？线性回归估算的是一个连续变量的条件期望脨腃腯腮腤腩腴腩腯腮腡腬腅腸腰腥腣腴腡腴腩腯腮脩脺

E脨Y 脩脽 θ

x 脫 b

那如果我们感兴趣的对象不再是一个连续的数值，且只有二值化的输出时，

例如气象中心预测明天是否下雨，医生预测患者会不会发病，大学生评估自

己是否会挂科等等，我们该如何对其进行建模和分析呢？

这种问题通常被称为分类问题脨腃腬腡腳腳腩脌腣腡腴腩腯腮脩。一种解决方案是制定一条

条规则脨腒腵腬腥脩，例如决策树或者知识库，然后把输入数据与规则进行比对，

经过若干次判断之后得到一个确定的结果。然而现实世界的经验告诉我们，

对于大多数情况，完全相同的条件并不一定能够导致完全相同的结果，也许

是因为噪声的存在，也许是因为条件的描述还不够准确，也许是因为事情本

身就是随机的。因此，我们希望在给出预测结果的同时还能给出一个该结果

发生的概率，比如你挂科的概率达到了脹脰脥。

现在我们期望的输出是，给定输入X之后Y 发生的概率P脨Y |X脩。现在我

们约定，Y 的取值有两类脨腂腩脭腃腬腡腳腳腥脩，腜脱脢和腜脰脢。而P 脨Y 脽脱脩脽 E脨Y 脩。定

义了输入和输出，剩下的就是寻找一个回归函数脨腒腥腧腲腥腳腳腩腯腮腆腵腮腣腴腩腯腮脩来

进行拟合了。拟合出来的结果就是我们想要的条件概率函数脨腃腯腮腤腩腴腩腯腮腡腬

腐腲腯腢腡腢腩腬腩腴腹腆腵腮腣腴腩腯腮脩。

令P 脨Y 脽脱|X 脽 x 脩脽 P 脨x 脻 θ脩，其中P 是以θ为参数的函数。假设样

本x

之间相互独立，则似然函数脨likelihood function脩为：

i=1

P 脨Y 脽 y

|X 脽 x

脩脽

i=1

P 脨x

脻 θ脩

脨脱 − P 脨x

脻 θ脩脩

1−y

脨脱脮脱脩

观察上式会发现，如果所有的样本x

都相同，即每次试验的条件都相同时，

每次的概率质量函数P 脨x 脻 θ脩都为同一个值p，则腬腩腫腥腬腩腨腯腯腤变为：

脳

脴脱腌腯腧腩腳腩腴腩腣回归

i=1

脨脱 − p脩

1−y

这是一个伯努利试验脨腂腥腲腮腯腵腬腬腩腔腲腩腡腬脩结果的似然函数。

回过头来观察P 脨x 脻 θ脩，直观上我们对它有如下要求：相同的样本x

下Y 的

概率应该相同；相近的样本x

下Y 的概率应该相近。找到一个合适的P 函数

之后我们可以通过极大似然估计脨maximum likelihood estimation脩来估计参

数θ。

1.2 Logistic回回回归归归

现在我们已经定义了二值输出Y ，我们希望建立一个关于观察样本x 的函

数，该函数的输出是Y 的条件概率P 脨Y 脽脱|X 脽 x 脩，而建模的方法是线线线性性性

回回回归归归。

样本x 的线性函数脨腬腩腮腥腡腲腦腵腮腣腴腩腯腮脩的值域是脨−∞, 脫∞脩，而我们期望的

输出p是一个概率，其值域是腛脰, 脱腝，二者不匹配，因此我们需要对p进行

一下变换，才能继续使用线性回归。那腬腯腧 P 呢？腬腯腧函数在腛脰, 脱腝上的值域

是腛−∞, 脰腝，还是有一半不匹配。腬腯腧函数在腛脰, 脫∞脩上的值域才是我们需要

的脨−∞, 脫∞脩，那我们考虑对P 进行一点点变换，使得变换之后的函数值域

为腛脰, 脫∞脩，而我们发现

1−P

满足这个要求。好吧，最终我们找到的变换

是腬腯腧

1−P

脨该变换称为腬腯腧腩腳腴腩腣或腬腯腧腩腴变换脩，其值域是脨−∞, 脫∞脩。现在可以

使用我们熟悉的线性回归进行拟合了。这种对线性回归的输出进行腬腯腧腩腳腴腩腣变

换的回归称为logistic回回回归归归。

于是有：

腬腯腧

P 脨x 脻 θ脩

脱 − P 脨x脻 θ脩

脽 θx 脨脱脮脲脩

求解P 脨x 脻 θ脩可得：

P 脨x 脻 θ脩脽

脱

脱脫 e

−(θx )

脨脱脮脳脩

这就是我们所熟知的腬腯腧腩腳腴腩腣回归的形式。

注意，

1−P

正好是腯腤腤腳的定义，而腬腯腧

1−P

就是腬腯腧腯腤腤腳。腯腤腤腳的意义我们

将在附录中讨论。

下面的任务就是使用上一节最后提到的极大似然估计进行求解。

利用脨脱脮脱脩式得到腬腩腫腥腬腩腨腯腯腤：

L脨θ脩脽

i=1

P 脨x

脻 θ脩

脨脱 − P 脨x

脻 θ脩脩

1−y

脨脱脮脴脩

对腬腩腫腥腬腩腨腯腯腤取腬腯腧，把乘积变成求和，则腬腯腧脭腬腩腫腥腬腩腨腯腯腤为：

脱脮脲腌腯腧腩腳腴腩腣回归脵

`脨θ脩脽

i=1

腬腯腧 P 脨x

脻 θ脩脫脨脱 − y

脩腬腯腧脨脱 − P 脨x

脻 θ脩脩脨脱脮脵脩

脽

i=1

腬腯腧脨脱 − P 脨x

脻 θ脩脩脫

i=1

腬腯腧

P 脨x

脻 θ脩

脱 − P 脨x

脻 θ脩

脨脱脮脶脩

脽

i=1

腬腯腧脨脱 − P 脨x

脻 θ脩脩脫

i=1

θx

脨脱脮脷脩

脽

i=1

−腬腯腧脨脱脫 e

θx

脩脫

i=1

θx

脨脱脮脸脩

脨脱脮脶脩到脨脱脮脷脩使用了公式脨脱脮脲脩腬腯腧

P (x ;θ)

1−P (x ;θ)

脽 θx ，脨脱脮脷脩到脨脱脮脸脩使用了公式脨脱脮脳脩

P 脨x 脻 θ脩脽

1+e

−(θx )

。

我们希望求得腬腩腫腥腬腩腨腯腯腤的最大值，因此将腬腯腧脭腬腩腫腥腬腩腨腯腯腤对参数θ的每一个

分量θ

求导，并令其等于脰：

∂`

∂θ

脽 −

i=1

脱

脱脫 e

θx

脫

i=1

脨脱脮脹脩

脽

i=1

脨y

− P 脨x

脻 θ脩脩x

脨脱脮脱脰脩

其中x

表示样本x

的第j个分量。

令脨脱脮脱脰脩等于脰得到的方程没有解析解脨闭合解，腣腬腯腳腥腤脭腦腯腲腭腳腯腬腵腴腩腯腮脩，我

们可以使用梯度下降脨Gradient Descent脩或牛顿法脨Newton Method 脩等算法进

行数值求解，该部分内容将在以后进行介绍。

脶脱腌腯腧腩腳腩腴腩腣回归

Appendices

脷

Appendix A

附附附录录录

A.1 Sigmoid函函函数数数, Logistic函函函数数数和和和Logit函函函数数数

A.1.1 Sigmoid函函函数数数

腓腩腧腭腯腩腤函数又称为S函数，是一种最常用的激发函数脨腁腣腴腩腶腡腴腩腯腮腦腵腮腣脭

腴腩腯腮脩。其他常见的激发函数包括阶跃函数脨腓腴腥腰腆腵腮腣腴腩腯腮脩，腔腡腮腈函数，修

正线性单元脨腒腥腣腴腩脌腥腤腌腩腮腥腡腲腕腮腩腴脬腒腥腌腕脩。而腓腩腧腭腯腩腤函数应用之广，又被

称为软阶跃函数脨腓腯腦腴腓腴腥腰腆腵腮腣腴腩腯腮脩

S脨t脩脽

脱

脱脫 e

−t

它一个很大优点是连续可导，并且导数形式非常好，可以用它本身的二次

函数来表示。

脨t脩脽 S脨t脩脨脱 − S脨t脩脩.

A.1.2 Logistic函函函数数数

逻辑函数脨腌腯腧腩腳腴腩腣腆腵腮腣腴腩腯腮脩，有称为逻辑曲线值域腛脰, L腝上，k为陡度脨腓腴腥腥腰腮腥腳腳脩，

以x

为中值点脨腍腩腤腰腯腩腮腴脩的S脨腓腩腧腭腯腩腤脩曲线。所以直观上来说，逻辑函数

是腓腩腧腭腯腩腤函数在值域，陡度和中值点上的一个更为一般的形式。

f脨x脩脽

脱脫腥

−k(x−x

)

而把k 脽脱, x

脽脰, L 脽脱的逻辑函数称为标准逻辑函数。所以标准逻辑函

数脨腓腴腡腮腤腡腲腤腌腯腧腩腳腴腩腣腆腵腮腣腴腩腯腮脩就是腓腩腧腭腯腩腤函数。

脹

脱脰腁附录

A.1.3 Logit函函函数数数

腌腯腧腩腴函数是对数赔率脨腌腯腧脭腯腤腤腳脩脬是赔率脨腯腤腤腳脩的自然对数脨腎腡腴腵腲腡腬腌腯腧腡脭

腲腩腴腨腭脩形式。直观看上去和逻辑函数没有联系。

腬腯腧腩腴脨p脩脽腬腯腧



脱 − p



脽腬腯腧脨p脩 − 腬腯腧脨脱 − p脩脽 −腬腯腧



脱

− 脱



但是，其实他们关系非常，腌腯腧腩腴函数的反函数就是标准腌腯腧腩腳腴腩腣函数。

腬腯腧腩腳腴腩腣脨α脩脽腬腯腧腩腴

−1

脨α脩脽

脱

脱脫腥腸腰脨−α脩

在之后一章，我们还会通过腌腯腧腩腴函数来解释腌腯腧腩腳腴腩腣回归的由来。

Part II

从从从广广广义义义线线线性性性模模模型型型(GLM)出出出发发发

Chapter 2

广广广义义义线线线性性性模模模型型型

2.1 引引引入入入广广广义义义线线线性性性模模模型型型

首先我们利用上一章中从线性回归推出腌腯腧腩腳腩腴腣回归的思想类比出广义线性

回归的思想，然后给出正式的解释。

从线性回归到腌腯腧腩腳腴腩腣回归，我们主要做了一件事情：由于我们希望的输

出y的值域与线性回归拟合出来的θ

x 的值域不匹配，于是对y进行了一次变

换得到关于y的函数脨记为g脨y脩脩，使得g脨y脩的值域为脨−∞, 脫∞脩，这样就可以

使用线性回归得到g脨y脩脽 θ

x 。

在腌腯腧腩腳腴腩腣回归中，我们面对的是一个两类问题，希望拟合的输出y是给

定输入x 后事件发生的概率，即P 脨Y 脽脱|X 脽 x 脩，因此我们选择的变换函

数g脨y脩为腬腯腧

1−y

。那么一个自然的想法是，如果面对的问题不同，希望的输

出不同，例如可以是计数脨某件事情发生了多少次脩，可以是可靠性等等，是

否可以选择不同的变换函数g脨y脩？答案是：可以，你需要广义线性模型。

广义线性模型脨Generalized Linear Model脬 GLM 脩由三部分组成：

脱脮随机成分脨Random Component脩：定义了输出变量y在给定输入变量x 时的

条件分布脨腃腯腮腤腩腴腩腯腮腡腬腄腩腳腴腲腩腢腵腴腩腯腮脩。一般情况下，我们接触到的分布都

属于指数分布族脨Exponential Families脩，例如高斯分布脨Gaussian 腯腲 Nor-

mal脩，二项分布脨Binomial 脩，泊松分布脨Poisson脩，伽玛分布脨Gamma脩等。

现在腇腌腍已经拓展至多变量指数分布族脨Multivariate Exponential Fami-

lies脩，非指数分布族脨Non-exponential Families脩，甚至y

的分布未完全定

义的情况。这部分内容将在附录中进行讨论。

脲脮线型预测器脨Linear Predictor 脩：即线型回归部分

脽 θ

脫 θ

脫 ··· 脫 θ

这就是腇腌腍中的线性部分。

脳脮链接函数脨Link Function脩：一个光滑脨腓腭腯腯腴腨脩且可逆脨腉腮腶腥腲腴腩腢腬腥脩的函数g脨·脩，

对期望的输出E脨Y 脩进行变换，使得变换后的g脨E脨Y 脩脩与现行预测器相匹

配。记µ

脽 E脨y

脩，则

脱脳

脱脴脲广义线性模型

g脨µ

脩脽 η

脽 θ

脫 θ

脫 ··· 脫 θ

在腌腯腧腩腳腴腩腣回归中，我们选取的链接函数即腌腯腧腩腳腴腩腣变换。

所以广义线性模型可以看作是期期期望望望输输输出出出变变变换换换后后后的的的线线线性性性模模模型型型(Linear Model)，

或者是期期期望望望输输输出出出的的的非非非线线线性性性模模模型型型(Non-linear Model)。

现在回过头来再看腌腯腧腩腳腴腩腣回归。腌腒中的线性预测器就是线性回归部

分θ

x ，链接函数即腌腯腧腩腳腴腩腣函数腬腯腧

1−y

，那腌腒中的随机成分是什么呢？

我们知道腇腌腍中的随机成分指的是给定输入x 之后期望输出µ所服从的条件

分布。腌腒的输出µ的意义是给定输入x 后事件发生的概率，即n次独立重复实

验中事件发生的概率，就是二项分布。

现在的问题是，我们已经知道目标期望输出服从二项分布，那使用什

么东西来把线型预测器θ

x 拟合出来的结果约束到二项分布中呢？答案就

是链接函数。在腌腯腧腩腳腴腩腣回归中，当我们选择了腌腯腧腩腳腴腩腣函数作为链接函数

对期望输出进行变换时脨或者说选择了腓腩腧腭腯腩腤函数对线型预测器拟合出来

的结果进行变换时脩，最终得到的期望输出就会腜自然而然脢地服从二项分

布。所以在腇腌腍看来，正确的顺序是：确定期望输出服从二项分布−→选

择腌腯腧腩腳腴腩腣函数作为链接函数−→使用线性预测器进行拟合。

到这里，只剩下一个问题了：为什么链接函数可以影响腇腌腍中的随机成

分，进而决定了期望输出的条件分布？我们将在下一节中进行推导和解答。

2.2 深深深入入入理理理解解解广广广义义义线线线性性性模模模型型型

上一节中在介绍腇腌腍三个组成部分中的随机成分时有提到，一般情况下，

我们遇到分布大属于指数分布族，例如腌腯腧腩腳腴腩腣回归里的二项分布。下面我

们首先正式介绍指数分布族。

统计学里许多重要的分布都属于指数分布族，它们都可以表示成如下通

式：

p脨y脻 θ, φ脩脽腥腸腰腛

yθ − b脨θ脩

a脨φ脩

脫 c脨y, φ脩腝脨脲脮脱脩

其中：

• p脨y脻 θ, φ脩是随机变量Y 的概率函数脨Y 离散脩或概率密度函数脨Y 连续脩。

• a脨·脩，b脨·脩和c脨·脩是三个函数，不同的分布中这三个函数也不同。

• θ是一个未知参数，称为标准参数脨Canonical Parameter脩，该参数具有关

系θ 脽 g

脨µ脩，其中g

脨·脩是标准链接函数脨Canonical Link Function脩，µ表

示随机变量Y 的期望E脨Y 脩。

• φ称为分散参数脨Dispersion Parameter 脩，该参数具有关系φ > 脰，在某些

分布中已知且固定，在其他分布中未知，需要与标准参数θ一起进行参数

估计。

下面介绍指数分布族表示为通式脨脲脮脱脩后的两个重要性质。一般情况下面

对一个分布，我们最关心的两个量是服从该分布的随机变量Y 的均值µ和方

差V ar脨Y 脩。关于均值和方差，指数分布族的通式表示具有如下性质：

脲脮脲深入理解广义线性模型脱脵

µ 脽 b

脨θ脩脨脲脮脲脩

V ar脨Y 脩脽 a脨φ脩b

脨θ脩脨脲脮脳脩

接下来我们首先简要地证明这两个性质，然后回答上一节所遗留的最后一个

问题：为为为什什什么么么链链链接接接函函函数数数可可可以以以影影影响响响GLM中中中的的的随随随机机机成成成分分分，，，进进进而而而决决决定定定了了了期期期望望望输输输

出出出的的的条条条件件件分分分布布布？？？

首先引入两个概念：动差生成函数脨Moment Generating Function脩和累积

量生成函数脨Cumulant Generating Function脩。动差，腭腯腭腥腮腴，就是腜矩估

计脢中的腜矩脢。动差生成函数的定义为：

脨t脩脽 Ee

脨脲脮脴脩

将M

脨t脩对t求导脨并交换期望和微分脩可以得到：

脨t脩脽 EXe

脨t脩脽 EX

脮

脨t脩脽 EX

上面几个式子在t 脽脰点的值分别为：

脨脰脩脽 EX

脮

脨脰脩脽 EX

因此通过脨脲脮脴脩式可以得到不同阶的矩脨动差脩，所以称其为动差生成函数。紧

接着继续介绍累积量生成函数，该函数定义为动差生成函数取腬腯腧：

脨t脩脽腬腯腧 M

脨t脩脨脲脮脵脩

类似地，令K

脨t脩对t求导可得：

脨t脩脽

脨t脩

脨t脩脽

脨t脩M

脨t脩 − M

脨t脩

其中M

脨t脩脽

脨t脩。同样地，令t 脽脰可得：

脱脶脲广义线性模型

脨脰脩脽 EX 脽 µ 脨脲脮脶脩

脨脰脩脽 EX

− E

X 脽 V ar脨X脩脨脲脮脷脩

其中µ为X的均值，V ar脨X脩为X的方差。事实上，如果对K

脨t脩在t 脽脰点进

行泰勒展开脨腔腡腹腬腯腲腓腥腲腩腥腳腅腸腰腡腮腳腩腯腮脩可得：

脨脰脩脽

∞

k=0

脱

k脡

脨脰脩

其中

脨脰脩即为随机变量X的k阶累积量。

有了累积量生成函数之后，结合指数分布族的通式脨脲脮脱脩以及累积量生成函

数定义式脨脲脮脵脩可以得到指数分布族的累积量生成函数：

K脨t脩脽

b脨θ 脫 a脨φ脩t脩 − b脨θ脩

a脨φ脩

脨脲脮脸脩

上式对t求导并令t 脽脰得到：

脨t脩脽

脨θ 脫 a脨φ脩脩a脨φ脩t

a脨φ脩

脽 b

脨θ 脫 a脨φ脩t脩a脨φ脩脽 b

脨θ脩

脨t脩脽 b

脨θ 脫 a脨φ脩t脩a

脨φ脩脽 b

脨θ脩a脨φ脩

脮

(k)

脽 b

(k)

脨θ脩a

脨φ脩

其中b

(k)

脨θ脩脽

dθ

b脨θ脩。再结合式子脨脲脮脶脩和脨脲脮脷脩可以证明式子脨脲脮脲脩和脨脲脮脳脩。

由脨脲脮脲脩式，以及标准链接函数与标准参数θ的关系θ 脽 g

脨µ脩：

脨θ脩脽 µ 脽 g

−1

脨θ脩脨脲脮脹脩

上式表明b

脨·脩即为标准链接函数g

脨·脩的逆函数。该该该结结结果果果表表表明明明，，，链链链接接接函函函数数数的的的选选选

择择择将将将会会会直直直接接接影影影响响响期期期望望望输输输出出出所所所服服服从从从的的的分分分布布布。

最后再回过头来看看腌腯腧腩腳腴腩腣回归。我们已经知道期望输出Y 服从二项分

布，而二项分布写成指数分布族通式为

p脨y脻 θ, φ脩脽腥腸腰腛

yθ − 腬腯腧脨脱脫 e

脩

脱/n

脫腬腯腧





腝

其中b脨θ脩脽腬腯腧脨脱脫 e

脩，则标准链接函数g

脨µ脩的逆函数为：

−1

脨θ脩脽 b

脨θ脩脽

脱

脱脫 e

−θ

脽 µ

于是二项分布的标准链接函数脨即上式的逆函数脩为

脲脮脲深入理解广义线性模型脱脷

脨µ脩脽腬腯腧

脱 − θ

该式就是腬腯腧腩腳腩腴腩腣函数。

所以，从广义线性模型的角度来看，因为期望输出服从二项分布，所以我

们选择腬腯腧腩腳腩腴腩腣函数作为标准链接函数，而这就意味着我们选择了腬腯腧腩腳腴腩腣回

归。

脱脸脲广义线性模型

Appendices

脱脹

Appendix B

附附附录录录

B.1 指指指数数数分分分布布布族族族补补补充充充

前面我们提到了的概率分布的指数分布族是指脨Natural Form脬 NF 脩。还有没

有其他形式的描述呢？其实还有更为一般化的形式脨General Form脬 GF 脩，和

均值自然形式脨Mean Value Natural Form脬 MVNF 脩。这里稍微补充一下他们

之间的关系。

B.1.1 一一一般般般形形形式式式(GF)

一般指数分布族脬

p脨y脻 θ脩脽腥腸腰腛d脨θ脩e脨y脩脫 g脨θ脩脫 h脨y脩腝

在一般形式里面，所有的参数表达式都放在指数函数中，包括三部分

脱脮自变量y的函数部分h脨y脩

脲脮参数θ的函数部分g脨θ脩

脳脮自变量y与参数θ的函数的乘积d脨θ脩e脨y脩

B.1.2 自自自然然然形形形式式式(NF)

指数分布族的自然形式在前面我们提过：

p脨y脻 θ, φ脩脽腥腸腰腛

yθ − b脨θ脩

a脨φ脩

脫 c脨y, φ脩腝

脲脱

脲脲腂附录

这种形式又称为分散指数分布族脨腄腩腳腰腥腲腳腩腯腮腅腸腰腯腮腥腮腴腩腡腬腆腡腭腩腬腹脬腄腅腆脩：

脱脮累积生成函数脨腃腵腭腵腬腡腮腴腇腥腮腥腲腡腴腩腮腧腆腵腮腣腴腩腯腮脩 b脨θ脩

脲脮标准参数脨腃腡腮腯腮腩腣腡腬腐腡腲腡腭腥腴腥腲脩 θ

脳脮分散参数脨腄腩腳腰腥腲腳腩腯腮腐腡腲腡腭腥腴腥腲脩 φ

分散指数函数也可以写成λ的形式脬 λ就称为精确参数脨腐腲腥腣腩腳腩腯腮腐腡腲腡腭腥腴腥腲脩：

令

λ 脽

脱

a脨φ脩

⇒ p脨y脻 θ, λ脩脽腥腸腰腛λ{yθ − b脨θ脩} 脫 c脨y, λ脩腝

指数分布族有一些特征前面我们也提到了脺

脱脮均值脺 µ ≡ E腛Y 腝脽 b

脨θ脩

脲脮方差脺 V ar腛Y 腝脽 b

脨θ脩φ 脽 V ar脨µ脩φ

脳脮标准链接函数：g脨x脩函数满足θ ≡ g脨µ脩

B.1.3 均均均值值值自自自然然然形形形式式式(MVNF)

均值自然形式脬我们把标准参数脨θ脩换成数学期望µ的函数µ 脽 τ 脨θ脩那么θ 脽

−1

脨µ脩并且τ

−1

脨x脩脽 g脨x脩脺

p脨y脻 µ, φ脩脽腥腸腰腛

−1

脨µ脩y − b脨τ

−1

脨µ脩脩

a脨φ脩

脫 c脨y, φ脩腝

Part III

结结结构构构风风风险险险最最最小小小(SRM)的的的视视视角角角

Chapter 3

结结结构构构风风风险险险最最最小小小(SRM)

3.1 什什什么么么是是是经经经验验验风风风险险险最最最小小小(ERM)

在统计机器学习框架下，很多有监督学习都可以纳入到经验风险最

小脨Empirical Risk Minimization脩。经验风险脨腅腒脩一般是由一组样本的损失

函数脨Loss Function脩之和或者均值来定义的。经验风险是由腖腬腡腤腩腭腩腲腖腡腰脭

腮腩腫提出来的，他同时也是腓腖腍算法和腖腃理论的提出者，开创性的把统计机

器学习提高到一个新的高度。

ER脨X, Y, θ脩脽

脱

Loss脨x

, y

脻 θ脩

其中X 脽脨x

, . . . , x

脩

, Y 脽脨y

, . . . , y

脩

，是样本集合。而θ是学习模型的

参数。

通常，每个样本的损失函数可以有两种定义角度去定义：

• 误差函数脨Error Function脬 ERF 脩：

Loss脨x

, y

脻 θ脩脽 ERF 脨f脨x

脻 θ脩, y

脩

脽

(

脨f脨x

脻 θ脩 − y

脩

腩腦腅腒腆腩腳腓腅

|f脨x

脻 θ脩 − y

| 腩腦腅腒腆腩腳腁腅

常见的腅腒腆有平方误差脨腓腱腵腡腲腥腤腅腲腲腯腲脬腓腅脩和绝对值误差脨腁腢腳腯腬腵腴腥腅腲脭

腲腯腲脬腁腅脩。这样对应的经验风险就可以是均方差脨腍腓腅脩，或者均绝对值

差脨腍腁腅脩。

• 负的腌腯腧似然函数脨Negative Log Likelihood脬 NLL脩：

Loss脨x

, y

脻 θ脩脽 −`脨θ脻 x

, y

脩脽 −腬腯腧 P 脨x

, y

脻 θ脩.

当然如果对于连续情况下，也可以直接利用概率密度函数来计算似然函

数。

Loss脨x

, y

脻 θ脩脽 −`脨θ脻 x

, y

脩脽 −腬腯腧 p脨x

, y

脻 θ脩.

脲脵

脲脶脳结构风险最小脨腓腒腍脩

那么腅腒腍就可以看成是样本集合的腎腌腌。

ER脨X, Y 脻 θ脩脽

脱

−`脨θ脻 x

, y

脩脽

脱

−腬腯腧 p脨x

, y

脻 θ脩

脽 −

脱

腬腯腧

p脨x

, y

脻 θ脩

脽 −

脱

腬腯腧 p脨X, Y 脻 θ脩

对于这两种方式，内在是由一定的联系的。如果我们定义残差脨腒腥腳腩腤腵腡腬脩为

学习模型预测值与真实值之差。

r脨x

, y

脻 θ脩脽 f脨x

|θ脩 − y

那么，最小平方误差等价于残差符合高斯分布脨正态分布脩下的最小腎腌腌。而

最小绝对值误差等价于残差符合拉普拉斯分布下的最小腎腎腌。具体推理过程

就省略了。

r脨x

, y

脻 θ脩 ∼ N 脨脰, σ

脩脽⇒

腡腲腧腭腩腮

脨f脨x

脻 θ脩 − y

脩

⇔ 腡腲腧腭腩腮

−腬腯腧

脱

√

脲π

−

(f (x

;θ)−y

)

2σ

r脨x

, y

脻 θ脩 ∼ Laplace脨脰, b脩脽⇒

腡腲腧腭腩腮

|f脨x

脻 θ脩 − y

| ⇔ 腡腲腧腭腩腮

−腬腯腧

脱

脲 b

−

|f (x

;θ)−y

我们来比较一下损失函数是平方误差和绝对值误差这两种不同情况：

• 平方误差脨腓腅脩

脱脮等价于残差符合高斯分布的腎腌腌

脲脮残差较小脨< 脱脩的数据分配的权重较小，而残差较大脨> 脱脩数据分配权重

较大，因此对残差较大项的有抑制效果脨参见图脳脮脱脩。

脳脮连续光滑，容易求梯度脨导数脩

• 绝对值误差脨腁腅脩

脱脮等价于残差符合拉普拉斯分布的腎腌腌

脲脮对残差较小脨< 脱脩和较大脨> 脱脩的数据分配权重平均，因此对不同的残差

项同等看待脨参见图脳脮脱脩。

脳脮不光滑，不容易求梯度脨因此有人提出了光滑绝对值误差脨腓腭腯腯腴腨腥腤

腁腢腳腯腬腵腴腥腅腲腲腯腲脩，是一个分段函数，称为腈腵腢腥腲函数脩。

脳脮脲从经验风险到结构风险脲脷

Fig. 3.1 比较平方误差和绝对值误差

3.2 从从从经经经验验验风风风险险险到到到结结结构构构风风风险险险

我们知道，经验风险就是对训练误差的一个估算，但是我们训练的学习模

型，最后是要用来做预测。所以我们更加关注测试误差。更一般的说，我们

需要知道的是我们的学习模型对整个输入空间X → Y的误差的期望，即真实

风险脨腔腲腵腥腒腩腳腫脩。显然地，真实风险和训练学习模型密切相关。所有学习模

型的真实风险最小值称为贝叶斯风险脨腂腡腹腥腳腒腩腳腫脩。

一般把训练学习模型的过程称为拟合脨腆腩腴腴腩腮腧脩，拟合过程中，我们根据经

验风险来训练模型，但最终目标是希望真实风险最小。通常在拟合完成之后

我们会遇到下面两种情况脺

• 经验风险不小，且真实风险不小，那么可能是欠拟合脨腕腮腤腥腲腆腩腴腴腩腮腧脩。

脱脮一般学习模型不够复杂。

脲脮腖腃定理就是用来度量学习模型的拟合能力的一种尺度。

• 经验风险很小，但真实风险不小，那么可能是发生了过拟合脨腏腶腥腲腆腩腴脭

腴腩腮腧脩。

脱脮选用的学习模型过于复杂。

脲脮使用交叉验证脨腃腲腯腳腳腖腡腬腩腤腡腴腩腯腮脩来进行确认是否过拟合了。

脳脮使用正则化脨腒腥腧腵腲腡腬腩腺腡腴腩腯腮脩来限制模型参数。

为了防止过拟合的情况，一般选用拟合能力适合的学习模型，而学习模

型的拟合能力可以通过腖腃定理进行考察。问题是选定了某个具体的学习模

型之后，如何防止过拟合的发生呢？一个常用的方法是模型的参数进行一些

限制，即正则化。所以现在我们在拟合的过程中有两个方面需要考虑：经经经

验验验风风风险险险和正正正则则则化化化。而经验风险和正则化这种联合训练方法称为结构风险最

小脨Structure Risk Minimization脬 SRM 脩。因此结构风险的定义为：

脲脸脳结构风险最小脨腓腒腍脩

Table 3.1 防止过拟合

方法依据

选择合适拟合能力的学习模型学习模型的腖腃维

选择合适参数、结构正则化

评估是否过拟合交叉验证

SR脨X, Y 脻 θ脩脽 ER脨X, Y 脻 θ脩脫 λ · Reguralization脨θ脩

而结构风险最小就是：

∗

脽腡腲腧腭腩腮

SR脨X, Y 脻 θ脩脽腡腲腧腭腩腮

脨ER脨X, Y 脻 θ脩脫 λ · Reguralization脨θ脩脩

其中λ是正则化系数。如果采用更为一般的描述，把不同参数的函数看成正

则化对象，那么对于一个函数簇f ∈ F。

∗

脽腡腲腧腭腩腮

f∈F

SR脨X, Y 脻 f脩脽腡腲腧腭腩腮

f∈F

脨ER脨X, Y 脻 f脩脫 λ · Reguralization脨f脩脩

这样正则化就可以包含一些非参数脨腎腯腮脭腰腡腲腡腭腥腴腲腩腣脩模型，比如决策树脨腃腁腒腔脬

腃脴脮脵脩的剪枝脨腐腲腵腮腩腮腧脩等。

那么问题来了，如何确定正则化限制形式，以及如何确定正则化比例系

数λ呢？

最常见的正则化项是L

正则化项，它是L

空间的模脨腎腯腲腭脩，假设x 脽

脨x

, x

, . . . , x

脩，那么

kxk

脽脨|x

脫 |x

脫 ··· 脫 |x

脩

在通常情况下，不是直接用L

脽 kθk

模，而是用L

脽 kθk

，即

Reguralization脨θ脩脽 kθk

脽

|θ|

k=1

|θ

Fig. 3.2 不同p取值的L

模为脱的单位球

本节我们提出了腓腒腍的定义，但并没有深入的解释，下一节我们将给出

一个直观的理解。

脳脮脲从经验风险到结构风险脲脹

3.2.1 直直直观观观地地地理理理解解解SRM(从从从空空空间间间角角角度度度)

上一节中，我们在腅腒腍上加入了正则化，并最终提出了腓腒腍。本节我们将

在此基础上进行一点数学推导，深入理解腓腒腍，特别是正则化项的意义。注

意腅腒腍中的损失函数有两种定义方式腼腼误差函数和腎腌腌。本节中所出现

的损失函数均是以误差函数来定义的。

首先从拉格朗日乘数法出发：

(

腭腩腮 f脨x脩

g脨x脩 ≤ 脰

⇔ 腭腩腮

腭腡腸

L脨x, λ脩脽腭腩腮

腭腡腸

f脨x脩脫 λ · g脨x脩

根据腋腋腔条件之一脺 λ · g脨x脩脽脰，因此当λ 6脽脰的时候，有g脨x脩脽脰。设

∗

脽腡腲腧腭腡腸

L脨x, λ脩 6脽脰

则

(

腭腩腮 f脨x脩

g脨x脩 ≤ 脰

⇔ 腭腩腮

f脨x脩脫 λ

∗

· g脨x脩

令其中的f脨θ脩和g脨θ脩分别为ERM脨X, Y 脻 θ脩和R

脨θ脩 − C，且λ

∗

6脽脰，即

(

f脨θ脩脽 ERM 脨X, Y 脻 θ脩

g脨θ脩脽 R

脨θ脩 − C

于是有

腡腲腧腭腩腮

SRM脨X, Y 脻 θ脩 ⇔ 腡腲腧腭腩腮



ERM脨X, Y 脻 θ脩脫 λ

∗

脨R

脨θ脩 − C脩



⇔

(

腭腩腮

ERM脨X, Y 脻 θ脩

脨θ脩 ≤ C

观察上式我们发现，正则化相当于存在某个常数C，当g脨θ脩脽 R

脨θ脩 − C 脽

脰的时候，恰好λ

∗

6脽脰且

∗

脽腡腲腧腭腡腸



ERM脨X, Y 脻 θ脩脫 λ脨R

脨θ脩 − C脩



直观来说，正则化项的数学意义就是我们限制了R

脨θ脩脽 C，而这个C是由

正则化系数λ

∗

来决定的。因此腓腒腍的意义就是，在在在满满满足足足正正正则则则化化化项项项对对对参参参数数数θ的的的

限限限制制制条条条件件件时时时，，，求求求经经经验验验风风风险险险ERM脨X, Y 脻 θ脩最最最小小小的的的模模模型型型f脨θ脩。

图脳脮脳中，在g脨x, y脩脽 c的限制条件下，求f脨x, y脩的最值，拉格朗日数乘法

就是找到以f脨x, y脩脽 d

定义的等高线上，找到与g脨x, y脩脽 c相切的点。那么

脳脰脳结构风险最小脨腓腒腍脩

Fig. 3.3 拉格朗日图示求最值，f脨x, y脩脽 d

的等高线与g脨x, y脩脽 c相切

类比到腓腒腍，就是在R

脨θ脩脽 C的线上求与ERM脨X, Y 脻 θ脩脽 d

的等高线

相切的点脨可参见图脳脮脴脩。

3.2.2 直直直观观观地地地理理理解解解SRM(从从从贝贝贝叶叶叶斯斯斯观观观点点点)

前面我们把腓腒腍中的损失函数以误差函数来定义，并从空间的角度

对腓腒腍进行了一个直观理解。现在我们从贝叶斯概率分布的观点给

出腓腒腍的另一个直观解释。

根据前面对损失函数的两种方式的定义，我们知道损失函数同时可以定义

为腎腌腌：

SRM脨X, Y 脻 θ脩脽 ERM脨X, Y 脻 θ脩脫 λR

脨θ脩

脽 −

脱

腬腯腧 p脨X, Y 脻 θ脩脫 λR

脨θ脩

脽 −

脱

腬腯腧 p脨X, Y 脻 θ脩脫



−

脱

腬腯腧 e

−nλR

(θ)



脽 −

脱

腬腯腧 p脨X, Y 脻 θ脩 · e

−nλR

(θ)

其中脰 ≤ e

−nλR

(θ)

≤ e

脽脱，令

prior脨θ脩脽 e

−nλR

(θ)

∈ 腛脰, 脱腝

则prior脨θ脩看成是参数θ的先验概率脨Prior Probability脩则腅腒腍等价于极大似

然估计：

腡腲腧腭腩腮

ERM脨X, Y 脻 θ脩 ⇔ 腡腲腧腭腡腸

p脨X, Y 脻 θ脩 ⇔ θ

MLE(X,Y ;θ)

而腓腒腍等价最大后验概率脨Maximum A Posteriori Probability脬 MAP脩：

脳脮脲从经验风险到结构风险脳脱

腡腲腧腭腩腮

SRM脨X, Y 脻 θ脩 ⇔ 腡腲腧腭腡腸

p脨X, Y 脻 θ脩 · e

−nλR

(θ)

脽腡腲腧腭腡腸

p脨X, Y 脻 θ脩 · prior脨θ脩

⇔ θ

MAP (X,Y ;θ)

所以从贝叶斯观点来看，正则化是给模型的参数加了个先验分布的限制条件

prior脨θ脩脽



−λR

(θ)



脽



−

(θ)

−1



相当于每个样本对应一个e

−λR

(θ)

的先验概率。

3.2.3 L

正正正则则则化化化与与与L

正正正则则则化化化

现在我们有了腓腒腍的空间和贝叶斯两种解释，接下来在此基础上我们来更加

深入的理解两种最常用的正则化方法腼腼L

正则化和L

正则化。

首先从空间的角度来分别讨论L

和L

正则化，同样地，在空间解释

中腅腒腍的损失函数为误差函数。

脨θ脩脽 kθk

脽 kθk

脽 θ

脫 θ

脫 . . . 脫 θ

假设是两维问题，对于参数β 脽脨β

, β

脩的情况下，那么L

正则化相当于把

参数β的取值范围限定在了以原点为圆心半径为C的圆中脨图脳脮脴脩：

脨β脩脽 β

脫 β

脽 C ⇔ β

脫 β

脽 C ≥ 脰

假设腅腒腍是腍腓腅，那么ERM脨X, Y 脻 β脩在线性回归Y 脽 β

· X情况下，也

是二次曲线。这种情况称为岭回归脨Ridge Regression脩。

ERM脨X, Y, β脩脽

脱

脨β

· x

− y

脩

腞

β 脽脨X

X 脫 λI脩

−1

岭回归有哪些好处呢？

脱脮那么根据结果公式，很明显的一个好处是有共线性脨腍腵腬腴腩腣腯腬腬腩腮腥腡腲腩腴腹脩情况

的时候，X

X虽然是半正定的的，却是奇异的脨腓腩腮腧腵腬腡腲脩。而在加上λI之

后，结果变得可以求逆了。

脲脮根据图脳脮脴脬岭回归会把β限制在一定的范围呢，使得我们对β的估计

从最佳线性无偏估计脨Best Linear Unbiased Estimate，BLUE 脩变成

了最小方差估计脨Minimum Variance Unbiased Estimator ，MVUE 脩。

从腂腌腕腅到腍腖腕腅体现了参数估计中牺牲偏差脨腂腩腡腳脩来换取更小方差脨腖腡腲腩腡腮腣腥脩

脳脲脳结构风险最小脨腓腒腍脩

的偏差方差权衡脨腂腩腡腳腖腡腲腩腡腮腣腥腔腲腡腤腥腯脋脩的思想。为什么更小的方差有好

处呢？方差越小的话，模型对数据较小的扰动能够更稳定，否则数据引

入很小的突变点脨腏腵腴腬腩腥腲脩之后，学习的模型会迅速退化，与原模型差异较

大。这不是我们想要的结果。但是如果偏差较大，使得模型在较小的方差

情况下难以覆盖未训练数据，从而导致泛化误差变大，有点类似欠拟合。

我们知道正则化系数λ越大，会导致方差越小，偏差越大。如何找到合适

的λ达到偏差和方差平衡目前还没有特别好的办法。



脨y −

腞

f脩



脽 E腛y

脫

腞

− 脲y

腞

f腝

脽 E腛y

腝脫 E腛

腞

腝 − E腛脲y

腞

f腝

脽腖腡腲腛y腝脫 E腛y腝

脫腖腡腲腛

腞

f腝脫 E腛

腞

f腝

− 脲f E腛

腞

f腝

脽腖腡腲腛y腝脫腖腡腲腛

腞

f腝脫脨f − E腛

腞

f腝脩

脽腖腡腲腛y腝脫腖腡腲腛

腞

f腝脫 E腛f −

腞

f腝

脽 σ

脫腖腡腲腛

腞

f腝脫腂腩腡腳腛

腞

f腝

其中

腞

f 脽 x ·

腞

脳脮 L

正则化还有一个好处就是，正则项是二次的，因此连续且二次可导，

和腍腓腅问次同构，所以不会增加计算的复杂度。求解原问题可以使用的

最优化方法脨例如要求二次可导的牛顿法脩正则化后都可以继续使用。

接下来是L

正则化：

脨θ脩脽 kθk

脽 |θ

| 脫 |θ

| 脫 ··· 脫 |θ

当损失函数是腍腓腅，而正则化是L

模的时候，这时候称为腌腡腳腳腯回归脨Least

Absolute Shrinkage and Selection Operator Regression，Lasso脩最小绝对值缩

选算符。

同样假设是两维问题，对于参数β 脽脨β

, β

脩的情况下，那么正则化曲线

为第一象限直线，其他象限轴对称，合起来是一个正方形脨图脳脮脴脩：

脨β脩脽 |β

| 脫 |β

| 脽 C ⇔

(

脫 β

脽 C 腩腦 β

> 脰脦脦β

> 脰

轴对称图形腩腦除了第一象限

腌腡腳腳腯回归有哪些特点呢？

脱脮腌腡腳腳腯最大的特征就是，由于R

脨β脩脽 C是方体，所以在各个轴上的点

比较突出，于是ERM 脨X, Y 脻 β脩很容易与顶点相切。于是乎使得这些轴上

的β被优先选中。而这些轴上的点具有的特征在其他方向上是脰。对于立

体的情况，两个轴上连线的顶点也由于突出容易被切到。这样使得存在一

个优先级的切到：从各个轴的顶点，较少的轴的连线，然后再到更多轴

的连接面。在这样的优先性选择下使得大部分轴为脰。也就是说m个特征

向量中尽可能多的维度变成了脰，因此在对稀疏性有要求的情况下特别适

用。

脳脮脲从经验风险到结构风险脳脳

Fig. 3.4 比较腌脱和腌脲正则化

脲脮同时也正是腌腡腳腳腯的这种内在稀疏性，应此称为特征选择的主要方

法之一。在有监督学习的特种选择脨腆腥腡腴腵腲腥腓腥腬腥腣腴腩腯腮脩中，相对于过

滤脨腆腩腬腴腥腲脩，包裹脨腗腲腡腰腰腥腲脩

，属于内嵌脨腅腭腢腥腤腥腤脩方法的正则化脨主要

是腌腡腳腳腯脩有着集中了腆腩腬腴腥腲在计算性方面的优势，同时又有腗腲腡腰腰腥腲在自

动化好方面的优势。

脳脮腌腡腳腳腯由于是绝对值函数，所以不能二次求导脨牛顿法和共轭梯度法脨Conjugate

Gradient脩需要二次求导脩，这样在最优化方法的选择上就有了限制，需要

利用坐标下坡脨腃腯腲腲腤腩腮腡腴腥腄腥腳腣腥腮腴脩或者近端梯度法脨腐腲腯腸腩腭腡腬腇腲腡腤腩腥腮腴脩

进行求解。

从贝叶斯角度来看，θ的先验分布e

−λR

(θ)

在L

和L

的情况下分别对应

了高斯分布和拉普拉斯分布。

−λkθk

⇔ θ ∼ N 脨脰,

脱

脲λ

脩

−λkθk

⇔ θ ∼ Laplace脨脰,

脱

脩

从图脳脮脵上我们可以看到相比较高斯分布，拉普拉斯分布更加尖锐一些。

腗腲腡腰腰腥腲翻译成包裹，跟随周志华的《机器学习》

脳脴脳结构风险最小脨腓腒腍脩

Fig. 3.5 腌腡腰腬腡腣腥腶腳腎腯腲腭腡腬腄腩腳腴腲腩腢腵腴腩腯腮

既然L

和L

分别具有不同的优势，那么把两者结合起来是不是会更好

呢？这就是腅腬腡腳腴腩腣腎腥腴的想法。从它的图形上来看，它既有比较突出的顶点

在坐标轴上，又接近圆形限制。这样对共线性和稀疏化都有很大帮助。虽

然腅腬腡腳腴腩腣腎腥腴的效果与腌腡腳腳腯非常相似，但是腌腡腳腳腯对共线性是比较敏感的，

会随机选择其中一个特征并把其他特征的系数置脰。而腅腬腡腳腴腩腣腎腥腴则会在两者

之间选择一个平衡的点进行加权。

Fig. 3.6 腅腬腡腳腴腩腣腎腥腴

脳脮脲从经验风险到结构风险脳脵

λR

脨θ脩脽 αλ

脨θ脩脫脨脱 − α脩λ

脨θ脩 ⇔

脨θ脩脽 α

kθk

脫脨脱 − α脩

kθk

脽



αkθk

脫脨脱 − α脩

kθk



脽



αkθk

脫脨脱 − α脩

kθk



脽 αkθk

脫脨脱 − α脩

脱

脲

kθk

当α 脽脱时R

脨θ脩 ∼ R

脨θ脩而当α 脽脰时R

脨θ脩 ∼

脨θ脩所以α又被称

为L

比率。

但是到目前为止还是有个很明显的问题没有解决腼腼λ如何选择。另

外腅腬腡腳腴腩腣腎腥腴里面的L

比率α又该如何选择？

到目前为止还没有特别完美的办法解决这个问题。当没有好办法的时候只

能是做腔腲腹脭腡腮腤脭腆腡腩腬。这时候需要利用交叉验证来通过测试误差判断正则化

系数的好坏。而对一组λ和一组α进行交叉验证比较然后选择最优的λ和α技

术称为腇腲腩腤腓腥腡腲腣腨。是暴力查找优化参数的办法。另外的办法就随机查

找脨腒腡腮腤腯腭腓腥腡腲腣腨脩。

腔腲腹腡腮腤腦腡腩腬脬腢腵腴腮腥腶腥腲腦腡腩腬腴腯腴腲腹脡

在这里不得不提一下ν脭腓腖腍，在腓腖腍里面对松弛变量的L

正则化如何设

置C脨λ脩也是一个很大的问题。ν脭腓腖腍通过对C在最大腍腡腲腧腩腮中意义探讨，用

一个ν ∈ 腛脰, 脱腝来替代了C，这样需要根据支持向量的个数来设置C的大小，

变成了根据支持向量数量的占比ν来设置。但是ν本身也没有好的最优化设

置。

Chapter 4

正正正则则则化化化(Regularization)

根据腓腒腍，最小化的目标分成了损失函数和正则化项了。而两者之间是通过

比例系数λ来控制的。如果更为泛化的眼光来看，其实哪一项是损失函数，

哪一项是正则化也并不需要那么明确。

4.1 分分分类类类算算算法法法的的的损损损失失失函函函数数数

下面我们试图在腓腒腍框架下统一给出损失函数和正则化。

前面我们已经介绍了两种回归的损失函数腓腅和腁腅。本材料讨论的腌腒其实

是个分类算法，那么分类算法一般如何计算损失呢？

假设一个两类问题y

∈ {脰, 脱}，最直接的方法就是数一下样本分错的数

目，即脰脭脱指示函数脨Indicator Function脩。

Err 脽

I脨y

6脽 f脨x

脻 θ脩脩

到这里之前，本材料中腌腒的y

取值是脰或脱，这样在把损失函数定义为腎腌腌的

时候形式可以很简洁。然而在机器学习领域，分类问题y

取值通常是脭脱或脱，

因为这样一个对称的形式具有优势。这样定义之后，y

与f脨x

|θ脩同号即表示

样本分类分对了，定义：

I脨y

脽 f脨x

脻 θ脩脩 ⇔ y

∗ f 脨x

脻 θ脩脽脱 ⇔ −y

∗ f 脨x

脻 θ脩脽 −脱

I脨y

6脽 f脨x

脻 θ脩脩 ⇔ y

∗ f 脨x

脻 θ脩脽 −脱 ⇔ −y

∗ f 脨x

脻 θ脩脽脱

这样损失函数便可以写成单位阶跃函数脨Heaviside Step Function脩的形式：

Loss 脽 H脨−y

∗ f 脨x

脻 θ脩脩 ⇐⇒ H脨x脩脽

(

脰, x < 脰,

脱, x ≥ 脰,

脳脷

脳脸脴正则化脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩

一般地，分类问题的损失函数通常表示为y

∗ f 脨x

脻 θ脩形式的函数。

Loss脨f脨x

脻 θ脩, y

脩脽 φ脨y

f脨x

脻 θ脩脩 ⇐⇒ φ脨x脩脽

(

脰, x > 脰,

脱, x ≤ 脰,

脽 I脨x ≤ 脰脩

前面几个章节中腌腒中的损失函数以腎腌腌的方式来定义，现在我们把y

的

取值由{脰, 脱}变成了{−脱, 脱}，损失函数需要相应地发生变化脨依然以腎腌腌的方

式来定义脩。对于样本脨x

, y

脩，腌腯腧腩腳腴腩腣函数同样可以理解为y

脽脱的时候的

概率：

P 脨x

脩脽

脱

脱脫 e

−θ

此时的损失函数为

Loss脨x

, y

, θ脩脽

(

−腬腯腧 P 脨x

脩腩腦 y

脽脱

−腬腯腧脱 − P 脨x

脩腩腦 y

脽 −脱

脽

(

−腬腯腧

1+e

−θ

腩腦 y

脽脱

−腬腯腧脱 −

1+e

−θ

腩腦 y

脽 −脱

脽

(

腬腯腧脱脫 e

−θ

腩腦 y

脽脱

−腬腯腧

−θ

1+e

−θ

腩腦 y

脽 −脱

脽

(

腬腯腧脱脫 e

−θ

腩腦 y

脽脱

腬腯腧

1+e

−θ

腩腦 y

脽 −脱

脽

(

腬腯腧脱脫 e

−θ

腩腦 y

脽脱

腬腯腧 e

脫脱腩腦 y

脽 −脱

脽

(

腬腯腧脱脫 e

−θ

腩腦 y

脽脱

腬腯腧脱脫 e

腩腦 y

脽 −脱

脽腬腯腧脱脫 e

−y

(θ

)

则经验风险为

ER脨X, Y 脻 θ脩脽

脱

腬腯腧脱脫 e

−y

(θ

)

脴脮脲分类界限脨腃腍脩脳脹

4.2 分分分类类类界界界限限限(CM)

事实上，y

f脨x

脩脨其中y

∈ {−脱, 脱}脩被称为它被称为分类界限脨Classiﬁcation

Margin脬 CM 脩。这个定义来自支持向量机。对于一个二分问题，在线性可分

的情况下脨图脴脮脱脩，分属于两个类别的数据脨x

, y

脽脱脩和脨x

, y

脽 −脱脩有如下

关系成立脺

(

f脨x

脩脽 θ

脫 b ≥ 脱腷腨腥腲腥 y

脽脱

f脨x

脩脽 θ

脫 b ≤ −脱腷腨腥腲腥 y

脽 −脱

⇔ yf脨x 脩 ≥ 脱

这样就把分类边界定义如下：

CM 脨x , y脻 θ脩脽 yf 脨x 脻 θ脩

Fig. 4.1 分类界限

从图上可以看出，两条边界脨支持向量所在直线脩之间f 脨x脩值相差了脲。

而脲脽脲yf脨x 脩，所以有些地方也把分类界限定义成脲yf脨x 脩。

腓腖腍的损失函数，以腃腍来写的话，是铰链损失函数脨Hinge Loss脩：

Loss脨x , y|θ脩脽腭腡腸脨脰, 脱 − yf脨x |θ脩脩 ⇔ φ脨x脩脽腭腡腸脨脰, 脱 − x脩

为了让这些不同的损失函数在CM 脽脰的时候有相同的取值，对

于腌腯腧腩腳腴腩腣腌腯腳腳通常做一个归一化处理：

脴脰脴正则化脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩

Fig. 4.2 腃腍腡腮腤腌腯腳腳腆腵腮腣腴腩腯腮脨腚腥腲腯脭腏腮腥腌腯腳腳脬腈腩腮腧腥腌腯腳腳腡腮腤腌腯腧腩腳腴腩腣腌腯腳腳脩

φ脨x脩脽

脱

腬腯腧脲

腬腯腧脱脫 e

−x

于是我们可以把腌腯腧腩腳腴腩腣腌腯腳腳和腈腩腮腧腥腌腯腳腳可以看成是脰脭脱腌腯腳腳的一个上

限脨参见图脴脮脲脩。我们知道脰脭脱腌腯腳腳的另外一个常用的上限是指数损失脨Exponential

Loss脩脺

I脨x ≤ 脰脩 ≤ e

−x

⇔ φ脨x脩脽 e

−x

而这个对数损失对应的这是腁腤腡腢腯腯腳腴算法的损失函数脨参见图脴脮脳脩。这个上限

在腁腤腡腢腯腯腳腴误差收敛性证明中也会用到。

Table 4.1 损失函数

损失函数函数形式对应算法

脰脭脱损失脨腚腥腲腯脭腏腮腥腌腯腳腳脩 I脨x ≤ 脰脩腌腩腮腥腡腲腂腩腮腡腲腹腃腬腡腳腳腩脌腣腡腴腩腯腮

铰链损失脨腈腩腮腧腥腌腯腳腳脩 φ脨x脩脽腭腡腸脨脰, 脱 − x脩腓腖腍

逻辑损失脨腌腯腧腩腳腴腩腣腌腯腳腳脩 φ脨x脩脽

log 2

腬腯腧脱脫 e

−x

腌腯腧腩腳腴腩腣腒腥腧腲腥腳腳腩腯腮

指数损失脨腅腸腰腯腮腥腮腴腩腡腬腌腯腳腳脩 φ脨x脩脽 e

−x

腁腤腡腂腯腯腳腴

脴脮脳逻辑回归的过拟合与正则化脴脱

Fig. 4.3 腃腍腡腮腤腌腯腳腳腆腵腮腣腴腩腯腮脨腚腥腲腯脭腏腮腥腌腯腳腳脬腈腩腮腧腥腌腯腳腳脬腌腯腧腩腳腴腩腣腌腯腳腳脬腡腮腤

腅腸腰腯腮腥腮腴腩腡腬腌腯腳腳脩

4.3 逻逻逻辑辑辑回回回归归归的的的过过过拟拟拟合合合与与与正正正则则则化化化

逻辑回归也是很容易导致过拟合的。尤其在样本数据比较稀疏，或者属性维

度特别大的情况下。避免过拟合一般有三类方法：

脱脮增加样本数量和压缩特征属性数量：特征属性很多，且特种数目相对于训

练样本较大的时候，训练数据变得极为稀疏，此时逻辑回归训练结果不稳

定，且很容易陷入过拟合。可以考虑合理的增加样本数量，以及进行特征

选择脨腆腥腡腴腵腲腥腓腥腬腥腣腴腩腯腮脬腆腓脩和特征抽取脨腆腥腡腴腵腲腥腅腸腴腲腡腣腴腩腯腮脬腆腅脩：

• 特征选择：常用过滤脨腆腩腬腴腥腲脩方法，根据相关度脨腃腯腲腲腥腬腡腴腩腯腮脩，互信

息脨腍腵腴腵腡腬腉腮腦腯腲腭腡腴腩腯腮脩等。也可以利用包裹脨腗腲腡腰腰腥腲脩方法，暴力筛

选特征。还有内嵌脨腅腭腢腥腤腥腤脩方法根据其他对数据稀疏或者高维特征属

性空间不敏感的算法模型脨腓腖腍脬腋腎腎等脩进行特征选择。

• 特征提取：常用投影的方法，对于没有目标属性脨腕腮腳腵腰腥腲腶腩腳腥腤脩的

情况下的主成分分析脨腐腲腩腮腣腩腰腬腥腃腯腭腰腯腮腥腮腴腡腮腡腬腹腳腩腳脬腐腃腁脩，或者

自组织神经网络脨腓腥腬腦脭腏腲腧腡腮腩腺腩腮腧腍腡腰腰腩腮腧脬腓腏腍脩。在使用目标属

性脨腓腵腰腥腲腶腩腳腥腤脩参考的情况下，线性判别分析脨腌腩腮腥腡腲腄腩腳腣腲腩腭腩腮腡腮腴

腁腮腡腬腹腳腩腳脬腌腄腁脩，或者投影寻踪脨腐腲腯腪腥腣腴腩腯腮腐腵腲腳腵腩腴脬腐腐脩。

脲脮提前退出训练脨腅腡腲腬腹腓腴腯腰腰腩腮腧脩：在发现测试误差有增大趋势的时候，停

止训练。

脳脮正则化脨L

或者L

脩脺

脴脲脴正则化脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩

∗

脽腡腲腧腭腩腮

SR脨X, Y |θ脩脽腡腲腧腭腩腮

脱

腬腯腧脱脫 e

−y

脫 λkθk

脽腡腲腧腭腩腮

脱

腬腯腧脱脫 e

−y

脫 λ

|θ|

k=0

|θ

在最优化求解方面，L

具有多次可导的特性，可以使用衍生的共轭梯

度脨腐腲腥腣腯腮腤腩腴腩腯腮腥腤腃腯腮腪腵腧腡腴腥腇腲腡腤腩腥腮腴脬腐腃腇脩，衍生的牛顿算法脨腌腩腭腩腴腥腤

腍腥腭腯腲腹腂腆腇腓脬腌脭腂腆腇腓脩。而L

由于二次不可导，就没有那么幸运了，

通常使用一些近似的替代算法脨腓腵腲腲腯腧腡腴腥脩来逼近不可导的部分。

Table 4.2 L

和L

的优化方法

腍腥腴腨腯腤 L

腇腲腡腤腩腥腮腴腄腥腳腣腥腮腴腁腤腡腭腁腤腡腭

腃腯腯腲腤腩腮腡腴腥腄腥腳腣腥腮腴腃腹腣腬腩腣腃腯腯腲腤腩腮腡腴腥腄腥腳腣腥腮腴脨腃腄腎脩

腃腯腮腪腵腧腡腴腥腇腲腡腤腩腥腮腴腐腲腥腣腯腮腤腩腴腩腯腮腥腤

腃腇

腱腵腡腳腩脭腎腥腷腴腯腮腌脭腂腆腇腓腏腲腴腨腡腮腴脭腗腩腳腥腌腩腭腩腴腥腤脭腭腥腭腯腲腹腑腵腡腳腩脭

腎腥腷腴腯腮脨腏腗腌脭腑腎脩

腐腲腯腸腩腭腡腬腇腲腡腤腩腥腮腴腃腯腭腰腯腳腩腴腥腏腢腪腥腣腴腩腶腥腇腄脨腃腏腇腄脩

脨腡脩 L

训练曲线脨腢脩 L

训练曲线

Fig. 4.4 L

和L

训练曲线比较，在相同的参数设置情况下，训练相同步数，L

能较快

的获得较低的错误率

Part IV

从从从两两两类类类(Bi-Class)到到到多多多类类类(Multi-Class)

脴脴

前面的部分中，我们分别从广义线性模型和结构风险最小两个角度对逻辑

回归进行了推导和解释。逻辑回归是个两类问题的分类算法，如果面对的是

多类问题的分类算法，应该怎么办呢？接下来我们要从解决两类问题的逻辑

回归推广到解决多类问题的软最大回归脨Softmax Regression脩

Chapter 5

从从从二二二项项项(Binomial)分分分布布布到到到多多多

项项项(Multinominal)分分分布布布

5.1 抛抛抛硬硬硬币币币(Coin Toss)和和和掷掷掷骰骰骰子子子(Dice)

5.1.1 伯伯伯努努努力力力(Bernoulli)分分分布布布

对伯努力脨腂腥腲腮腯腵腬腬腩脩分布Bernoulli脨p脩进行说明最常见的例子是抛硬币。假

设抛一次硬币正面的概率p，那么反面的概率就为脱 − p，把两者统一起来，

所以腂腥腲腮腯腵腬腬腩的概率表达式是：

f脨x脻 p脩脽 p

脨脱 − p脩

1−x

x ∈ {脰, 脱}

5.1.2 二二二项项项(Binomial)分分分布布布

如果我们连续的抛脱个硬币n次，那么我们就得到了二项分布B脨n, p脩。所以二

项分布是一组伯努力脨腂腥腲腮腯腵腬腬腩脩分布变量之和。

∼ Bernoulli脨p脩 ⇒ Y 脽

k=1

∼ 腂脨n, p脩

f脨x脻 n, p脩脽





脨脱 − p脩

n−x

x ∈ {脰, 脱, . . . , n}

可以看出伯努力分布是二项分布的一个特例：

Bernoulli脨p脩脽 B脨脱, p脩

脴脵

脴脶脵从二项脨腂腩腮腯腭腩腡腬脩分布到多项脨腍腵腬腴腩腮腯腭腩腮腡腬脩分布

5.1.3 多多多项项项(Multinominal)分分分布布布

假设我们把抛硬币改成掷骰子，若这个骰子有K个面，并且掷n次，二项分

布就变成了多项分布M脨x

, ··· , x

|n, p

, ··· , p

脩。

f脨x

, . . . , x

脻 n, p

, . . . , p

脩脽

n脡

脡 ···x

脡

···p

, 腷腨腥腲腥

i=1

脽 n

脽

Γ 脨

脫脱脩

Γ 脨x

脫脱脩

i=1

. Γ 腩腳伽玛函数

因此二项分布又是多项分布的一个特例脺

B脨n, p脩脽 M 脨x, n − x|n, p, 脱 − p脩

这里需要说明的，如果改成好几块脨T 块脩不同概率的硬币脨q

是第t块硬币

正面的概率脩一起抛的话。那么这相当于K 脽脲

的多项分布。假设k − 脱脽

···b

, 腷腨腥腲腥 b

∈ {脰, 脱}是k的二进制表示脬那么

脽

脨脱 − q

脩

1−b

M脨x

, ··· , x

|n, p

, ··· , p

脩脽 M脨x

, ··· , x

|n,

t=1

脨脱 − q

脩, ··· ,

t=1

脩

Chapter 6

从从从二二二项项项回回回归归归(Binomial Regression)到到到多多多项项项回回回

归归归(Multinominal Regression)

6.1 GLM模模模型型型的的的解解解释释释

根据广义线性模型，二项回归是对应到E脨Y 脩 ∼ B脨n, p脩，而多项回归对应

到E脨Y 脩 ∼ M脨x

, ··· , x

|n, p

, ··· , p

脩。既然已经有了期望输出所服从的分

布，那么通过对应的链接函数很容易便可以推出多项回归：

Y ∼ M 脨c

, ··· , c

|n, p

, ··· , p

脩 ⇔ µ

脽 E脨y

脽 c

脩 ⇔

L脨µ | Y 脩脽

i=1

k=1

脨µ

I脨y

脽 c

脩脩

那么链接函数：

g脨µ

脩脽 η

脽 θ

脫 θ

脽 θ

⇔

g 脽脨g脨µ

脩, ··· , g脨µ

脩脩

脽脨η

, ··· , η

脩

脽 η

我们可以得到两种不用形式的链接函数：

η 脽







腬腮 p

脫 C

脮

腬腮 p

脫 C







⇔ g

−1

脽







脱

脮

脱







脽







k=1

脮

k=1







腷腨腥腲腥

k=1

脽 C

脴脷

脴脸脶从二项回归脨腂腩腮腯腭腩腡腬腒腥腧腲腥腳腳腩腯腮脩到多项回归脨腍腵腬腴腩腮腯腭腩腮腡腬腒腥腧腲腥腳腳腩腯腮脩

η 脽







腬腮

脮

腬腮

K−1

脰







脽







腬腮

脱 −

K−1

k=1

脮

腬腮

K−1

脱 −

K−1

k=1

脰







⇔ g

−1

脽







k=1

脮

k=1







脽







脱脫

K−1

k=1

脮

K−1

脱脫

K−1

k=1

脱

脱脫

K−1

k=1







6.2 软软软最最最大大大(Softmax)回回回归归归

6.2.1 软软软最最最大大大函函函数数数

软最大函数刚好是广义线性模型中的多项分布的链接函数。因此，多项回归

又称为软最大脨腓腯腦腴腭腡腸脩回归。

σ脨z脩

脽 σ脨脨z

, . . . , z

脩脩

脽

k=1

i ∈ {脱, . . . , K}

6.2.2 软软软最最最大大大回回回归归归的的的解解解释释释

软最大回归一般也称为多类逻辑回归脨腭腵腬腴腩腣腬腡腳腳腌腒脩脬可以看成是适合二类

问题的逻辑回归扩展到多类问题的逻辑回归。前面章节中我们指出对多项分

布有两种不同形式的η，因此我们可以基于不同的η给出两种解释。注意，本

质上两个链接函数是等价的。

脱脮腋脭脱个独立二元逻辑回归脺在这种解释下，分别把前腋脭脱个类别和第腋个类

别进行对比。

腬腮

腐腲脨Y

脽脱脩

腐腲脨Y

脽 K脩

脽 β

· X

腬腮

腐腲脨Y

脽脲脩

腐腲脨Y

脽 K脩

脽 β

· X

······

腬腮

腐腲脨Y

脽 K −脱脩

腐腲脨Y

脽 K脩

脽 β

K−1

· X

由此推出：

脶脮脲软最大脨腓腯腦腴腭腡腸脩回归脴脹

腐腲脨Y

脽 K脩脽

脱

脱脫

K−1

k=1

·X

腐腲脨Y

脽脱脩脽

·X

脱脫

K−1

k=1

·X

腐腲脨Y

脽脲脩脽

·X

脱脫

K−1

k=1

·X

······

腐腲脨Y

脽 K −脱脩脽

K−1

·X

脱脫

K−1

k=1

·X

脲脮腌腯腧线性脨腌腯腧脭腌腩腮腥腡腲脩模型：在这种解释下，这腋个类别对等看待，这样就

要引入一个归一化因子Z。由于指数里面是一个线性函数，所以该模型又

被称为腌腯腧线性模型。

腐腲脨Y

脽脱脩脽

脱

·X

腐腲脨Y

脽脲脩脽

脱

·X

······

腐腲脨Y

脽 K脩脽

脱

·X

脱脽

k=1

腐腲脨Y

脽 k脩脽

k=1

脱

·X

脽

脱

k=1

·X

⇔

Z 脽

k=1

·X

Part V

最最最大大大熵熵熵(MaxEnt)

Chapter 7

最最最大大大熵熵熵原原原理理理和和和逻逻逻辑辑辑回回回归归归

在前面几个章节里，我们分别从广义线性模型和结构风险最小两个方面

对腌腯腧腩腳腴腩腣回归进行了推导和解释，下面我们从另一个角度腼腼熵脨腅腮腴腲腯腰腹脩来

观察腌腯腧腩腳腴腩腣回归。最后我们会看到，腌腯腧腩腳腴腩腣回归可以从最大熵原理直接推

导出来，或者说二者具有等价关系。

7.1 最最最大大大熵熵熵原原原理理理(Principle of Maximum Entropy)

最大熵原理是一个用于选择随机变量统计特性的原则，其主要思想是，在只

掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率

分布。

怎么理解这个原理呢？我们首先引入概率脨腐腲腯腢腡腢腩腬腩腴腩腥腳脩、熵脨腅腮腴腲腯腰腹脩、

限制条件脨腃腯腮腳腴腲腡腩腮腴腳脩三个概念。

首先是概率。设A

表示状态i，A

发生的概率为p脨A

脩。假设状态的总数是

有限的，即i < 脫∞。则概率分布p脨A

脩满足：

p脨A

脩 ≥ 脰脨脷脮脱脩

p脨A

脩脽脱脨脷脮脲脩

接下来是熵。前面的章节有给出熵的定义：

S 脽 −

p脨A

脩腬腯腧

p脨A

脩脨脷脮脳脩

熵衡量的是分布p脨A

脩的不确定性脨腕腮腣腥腲腴腡腩腮腴腹脩，所谓不确定性可以理解

为，对确定状态所需要的信息量脨腉腮腦腯腲腭腡腴腩腯腮脩的一个量化指标。从熵的定

义式脨脸脮脳脩可以看出，当各状态的概率p脨A

脩相等时，熵的值最大。在没有更

多的信息之前，腜各状态的概率相等脢这个假设是相对合理的。可以这样理

解：降低或升高某些状态的概率就相当于引入了新的额外的假设，而在这些

脵脳

脵脴脷最大熵原理和逻辑回归

众多的假设中似乎并没有哪一个是特别合适的，因为我们不能在没有任何信

息的情况下主观地认为某些状态的发生概率大于另外一些，而且从熵的定

义。

最后是限制条件。所谓限制条件其实就是上面所提到的额外的信息。限制

条件的存在会打破腜各状态发生概率相等脢的平衡，使得某些状态的概率发生

变化。从熵的定义来看，这些额外的信息降低了我们对分布p脨A

脩的不确定

性。限制条件可以有很多种形式，例如某个值的期望：假设每个状态A

对应

了一个值g脨A

脩，那么其在分布p脨A

脩上的期望限制为G，则

p脨A

脩g脨A

脩脽 G 脨脷脮脴脩

现在通过以上三个概念来理解最大熵原理就直观多了：在满足限限限制制制条条条件件件

的前提下，不引入额外的假设以免造成不确定性的下降，反映在数学上，就

是分布的熵熵熵最大，即每个状态所分配的概概概率率率尽可能平均。

可以看出，最大熵原理的求解可以转化为在限制条件下的求极值脨熵的最

大值脩问题，可以使用拉格朗日乘数法脨腌腡腧腲腡腮腧腩腡腮脩进行求解。下面一节我们

会从最大熵原理来推导出腌腯腧腩腳腴腩腣回归。

7.2 最最最大大大熵熵熵原原原理理理与与与Logistic回回回归归归的的的等等等价价价性性性

设σ脨x 脩

表示x 属于第v个分类的概率，假设一共有K个分类。现在我们不

对σ脨x 脩

的形式做任何假设，它可以是一个任意复杂的函数。现在我们要根

据已知的确定的信息，列出对σ脨x 脩

的限制条件。首先我们知道σ脨x 脩

是一

个概率分布，所以每个分量大于脰且求和为脱：

σ脨x 脩

≥ 脰脨脷脮脵脩

v=1

σ脨x 脩

脽脱脨脷脮脶脩

还有，我们希望分布σ脨x 脩

满足训练集脨腔腲腡腩腮腩腮腧腓腥腴脩中数据的要求，即σ脨x 脩

与

训练集的数据分布一致：

i=1

σ脨x 脨i脩脩

x 脨i脩

脽

i=1

脨y脨i脩脩x 脨i脩

脨脷脮脷脩

其中I

脨y脨i脩脩为指示函数，当y脨i脩脽 u时值为脱，当y脨i脩 6脽 u时值为脰。脨脸脮脷脩式

的意思是，在每一个分类u里，任意一个特征j在属于该分类的训练数据x 脨i脩

上的求和，等于所训练的模型分配给特征j的概率质量脨腐腲腯腢腡腢腩腬腩腴腹腍腡腳腳脩之

和脨x 脨i脩属于分类u的概率，在全部训练数据上求和脩。这表明σ脨x 脨i脩脩

是对训

练集的指标函数I

脨y脨i脩脩的一个很好的近似。

σ脨x 脨i脩脩

的熵定义为：

脷脮脲最大熵原理与腌腯腧腩腳腴腩腣回归的等价性脵脵

−

v=1

i=1

σ脨x 脨i脩脩

腬腯腧脨σ脨x 脨i脩脩

脩脨脷脮脸脩

现在我们有了概率、熵、限制条件，根据最大熵原理，我们希望在满

足脨脸脮脵脩脨脸脮脶脩脨脸脮脷脩三式时脨脸脮脸脩式取到最大值。这是一个具有限制条件的最优化

问题，可以使用拉格朗日乘数法求解：

L 脽

j=1

v=1

v,j

脨

i=1

σ脨x 脨i脩脩

x 脨i脩

−

i=1

脨y脨i脩脩x 脨i脩

脩脨脷脮脹脩

脫

i=1

脨

v=1

σ脨x 脩

− 脱脩

−

v=1

i=1

σ脨x 脨i脩脩

腬腯腧脨σ脨x 脨i脩脩

脩

在这里我们不打算讨论腌腡腧腲腡腮腧腩腡腮的对偶脨腄腵腡腬脩问题和腋腡腲腵腳腨脭腋腵腨腮脭腔腵腣腫腥腲脨腋腋腔脩条

件，脨脸脮脹脩式中的L对σ脨x 脨i脩脩

求偏导得到：

∂L

∂σ脨x 脨i脩脩

脽 λ

x 脨i脩脫 β

− 腬腯腧脨σ脨x 脨i脩脩

脩 − 脱脨脷脮脱脰脩

令上式脨脸脮脱脰脩等于脰：

x 脨i脩脫 β

− 腬腯腧脨σ脨x 脨i脩脩

脩 − 脱脽脰脨脷脮脱脱脩

解方程得到：

σ脨x 脨i脩脩

脽 e

x (i)+β

−1

脨脷脮脱脲脩

根据限制条件脨脸脮脶脩，概率σ脨x 脨i脩脩

求和等于脱：

v=1

x (i)+β

−1

脽脱脨脷脮脱脳脩

于是得到：

−1

脽

脱

v=1

x (i)−1

脨脷脮脱脴脩

把上式中的e

−1

代入脨脸脮脱脲脩：

σ脨x 脨i脩脩脽

x (i)

v=1

x (i)

脨脷脮脱脵脩

即

σ脨x 脩脽

v=1

脨脷脮脱脶脩

脵脶脷最大熵原理和逻辑回归

脨脸脮脱脶脩式即为我们在章节脷脮脲中从广义线性模型推出来的腓腯腦腴腭腡腸回归。

7.3 Log-Linear模模模型型型

假设我们对腓腯腦腴腭腡腸函数的每个分量做线性扩展，那么我们就得到腌腯腧脭

腌腩腮腥腡腲模型

p脨y|x脻 w脩脽

腥腸腰



c 脫

|w|

j=1

脨x, y脩



Z脨x, w脩

Z脨x, w脩脽

∈Y

腥腸腰





c 脫

|w|

j=1

脨x, y

脩





如果写成向量的形式就变成了：

p脨y|x脻 w脩脽

腥腸腰



f脨x, y脩



Z脨x, w脩

对比一下腓腯腦腴腭腡腸函数，我们把腓腯腦腴腭腡腸的每个输入自变量变成了线性：

v脨x, y脩脽 w

f脨x, y脩 ⇒

p脨y|x脻 w脩脽 σ脨v脨x, y脩脩

y∈Y

脽

v(x,y)

∈Y

v(x,y

)

这样，有了腌腯腧腌腩腮腥腡腲的假设，我们根据训练数据X脬 Y 脬来优化参数w。根

据最大似然估计，我们的目标是找到腌腩腫腥腬腩腨腯腯腤 `脨w脩对w

的导数形式：

`脨w脩脽腬腯腧 P 脨X, Y |w脩脨脷脮脱脷脩

脽

i=1

腬腯腧 p脨x

, y

|w脩脨脷脮脱脸脩

脽

i=1

腬腯腧 p脨y

脻 w脩p脨x

脩脨脷脮脱脹脩

脽

i=1

腬腯腧 p脨y

脻 w脩脫

i=1

腬腯腧 p脨x

脩脨脷脮脲脰脩

∂`脨w脩

∂w

脽

i=1

∂ 腬腯腧 p脨y

脻 w脩

∂w

脨脷脮脲脱脩

其中，我们省略与参数无关的

i=1

腬腯腧 p脨x

脩脬

脷脮脳腌腯腧脭腌腩腮腥腡腲模型脵脷

`脨w脩脽

i=1

腬腯腧 p脨y

脻 w脩脨脷脮脲脲脩

对于上式求和项中的一项腬腯腧 p脨y

脻 w脩有

腬腯腧 p脨y

脻 w脩脽腬腯腧

腥腸腰脨w

f脨x

, y

脩脩

∈Y

腥腸腰脨w

f脨x

, y

脩脩

脨脷脮脲脳脩

脽 w

f脨x

, y

脩 − 腬腯腧

∈Y

腥腸腰脨w

f脨x

, y

脩脩脨脷脮脲脴脩

上式右边第一项对w

求导结果比较简单：

∂

∂w

f脨x

, y

脩脽

∂

∂w

脨

脨x

, y

脩脩脽 f

脨x

, y

脩脨脷脮脲脵脩

记g脨w脩脽

∈Y

腥腸腰脨w

f脨x

, y

脩脩，则右边第二项为：

腬腯腧 g脨w脩脨脷脮脲脶脩

上式对w

求导为

∂

∂w

腬腯腧 g脨w脩脽

脱

g脨w脩

∂

∂w

g脨w脩脨脷脮脲脷脩

其中

∂

∂w

g脨w脩脽

∈Y

脨x

, y

脩腥腸腰脨w

f脨x

, y

脩脩脨脷脮脲脸脩

所以我们有

∂

∂w

腬腯腧 g脨w脩脽

∈Y

脨x

, y

脩腥腸腰脨w

f脨x

, y

脩脩

∈Y

腥腸腰脨w

f脨x

, y

脩脩

脨脷脮脲脹脩

脽

∈Y

脨x

, y

脩 ×

腥腸腰脨w

f脨x

, y

脩脩

∈Y

腥腸腰脨w

f脨x

, y

脩脩

脩脨脷脮脳脰脩

脽

∈Y

脨x

, y

脩p脨y

|x脻 w脩脨脷脮脳脱脩

最终，把脨脷脮脲脵脩和脨脷脮脳脱脩结合起来得到：

dL脨v脩

脽

i=1

脨x

(i)

, y

(i)

脩脩脽 f

脨x

(i)

, y

(i)

脩 −

i=1

∈Y

p脨y|x

(i)

脻 v脩f

脨x

(i)

, y脩

脨脷脮脳脲脩

Part VI

从从从熵熵熵(Entropy)解解解释释释GLM, MaxEnt,

MLE

Chapter 8

来来来自自自熵熵熵(Entropy)的的的解解解释释释

在广义线性模型中，我们提到了最大似然估计，指数分布族以及其中的累计

量生成函数等概念，这里我们将从信息熵出发来解释这些它们，并最终证明

这些概念都是可以从熵推导出来。

8.1 对对对信信信息息息熵熵熵的的的理理理解解解

香农信息熵是对数据分布的不确定性进行度量：假设X是来自分布X的随机

样本，则P 脨x

脩脽 P 脨X 脽 x

脩脽 p

，那么：

H脨X脩脽 E腛腉脨X脩腝脽 E腛−腬腮脨腐脨X脩脩腝.

H脨X脩脽

i=1

腐脨x

脩腉脨x

脩脽 −

i=1

腐脨x

脩腬腯腧

腐脨x

脩,

一般来说香农信息熵的含义有两种解释：

• 不确定性公理化脨腁腸腩腭腡腴腩腣脩解释：上述公式是满足不确定性公理化假设的

唯一数学形式。

• 期望编码脨腃腯腤腩腮腧脩长度解释：上述公式是对概率分布信息的二进制编码的

期望。

8.1.1 不不不确确确定定定性性性公公公理理理化化化解解解释释释

对于分布概率的不确定性H脨X脩 ≡ H脨p

, . . . , p

脩，必须满足不确定性公理的

四大假设：

脱脮非负假设：H脨p

, . . . , p

脩 ≥ 脰

脲脮连续性假设：H脨p

, . . . , p

脩按全部自变量p

是连续的。

脶脱

脶脲脸来自熵脨腅腮腴腲腯腰腹脩的解释

脳脮单调性假设：如果所有p

脽脱/N，那么H脨p

, . . . , p

脩脬必须随着N 的增

加，而不确定性增大。

脴脮叠加性假设：不确定性是随着概率分布生成过程来进行叠加的。

• 比如A变量是通过X, Y, Z来生成的，X 脽 x

, x

，当x

满足是P 脨Y 脩，

当x

不满足是P 脨Z脩，那么就有如下关系成立脺

H脨A脩脽 H脨X脩脫 P 脨x

脩H脨Y 脩脫 P 脨x

脩H脨Z脩

• 其中一种特殊情况是A 脽 X

, . . . , X

，那么

H脨A脩脽

i=1

H脨X

脩

• 另外一种特殊情况，有相互独立的两个事件Y 脽 y

, . . . , y

和Z 脽

, . . . , z

：那么：

H脨Y Z脩脽

i=1

j=1

φ脨y

脩脽

i=1

φ脨y

脩脫

j=1

φ脨z

脩脽 H脨Y 脩脫 H脨Z脩

脨脸脮脱脩

而满足上面四个公理条件的唯一形式是：

H脨X脩脽 K

i=1

腐脨x

脩腬腯腧

脱

腐脨x

脩

根据连续性假设，我们对公式脸脮脱，分别对y

和y

求导：

j=1

脨y

脩脽 φ

脨y

脩脬

j=1

脨y

脩脽 φ

脨y

脩

j=1

腛φ

脨y

脩 − φ

脨y

脩腝脽 φ

脨y

脩 − φ

脨y

脩

而上述表达式的右手边脨腒腩腧腨腴腈腡腮腤腓腩腤腥脬腲脮腨脮腳脩是跟z

没有关系的。

j=1

腛φ

脨y

脩 − φ

脨y

脩 − 脨φ

脨y

脩 − φ

脨y

脩脩腝脽脰

对任意独立的Y 脬 Z，上述公式都成立的情况下，可以进一步推导到：

脨y

脩 − φ

脨y

脩 − 脨φ

脨y

脩 − φ

脨y

脩脩脽脰

脨y

脩 − φ

脨y

脩脽 φ

脨y

脩 − φ

脨y

脩

如果设y

脽脱，则

脸脮脱对信息熵的理解脶脳

脨y

脩 − φ

脨y

脩脽 φ

脨y

脩 − φ

脨y

脩

脨y

脩 − φ

脨z

脩脽 φ

脨y

脩 − φ

脨脱脩

脨y

脩脽 φ

脨y

脩脫 φ

脨z

脩 − φ

脨脱脩

当然这也可以从公式脸脮脱进行证明。

脨y

脩脽 φ

脨y

脩脫 φ

脨z

脩 − φ

脨脱脩

脨y

脩脽 φ

脨y

脩脫 φ

脨z

脩

由此，我们转化成柯西函数公式脨腃腡腵腣腨腹脧腳腆腵腮腣腴腩腯腮腅腱腵腡腴腩腯腮脩的f脨x脩脽

Ax 脫 B：

f脨x 脫 y脩脽 f脨x脩脫 f脨y脩

f脨腬腯腧 y

脫腬腯腧 z

脩脽 f脨腬腯腧 y

脩脫 f脨腬腯腧 z

脩

脨x脩脽 f脨腬腯腧 x脩

脨x脩脽 K 腬腯腧 x 脫 B

φ脨x脩脽 Kx 腬腯腧 x 脫脨B −K脩x 脫 C

另外根据不确定性定义，概率为脰和概率为脱都是确定的情况，那么有φ脨脰脩脽

脰，φ脨脱脩脽脰，于是得到C 脽脰, B −K 脽脰，由此可得

φ脨x脩脽 Kx 腬腯腧 x

H脨X脩脽 φ脨P 脨X脩脩脽 φ脨{P 脨x

脩, . . . , P 脨x

脩}脩

脽

i=1

K腐脨x

脩腬腯腧

脱

腐脨x

脩

脽 K

i=1

腐脨x

脩腬腯腧

脱

腐脨x

脩

虽然通过公理化的假设可以推出信息熵的一般形式，但是这种形式晦涩难

懂，解释起来比较困难，用来不会得心应手。所以下面我们从另一个角度给

出一个直观的解释。

8.1.2 期期期望望望编编编码码码长长长度度度解解解释释释

前面提到信息熵来源于香农推导出的一个度量不确定性的公式。后来在

冯诺依曼的建议下信息熵和玻尔兹曼在热力学中提出的的H熵联系了起

脶脴脸来自熵脨腅腮腴腲腯腰腹脩的解释

来。而薛定谔提出了对H熵基于状态数的解释。把H熵的状态数解释类比

过来便是信息熵的期望编码长度解释。假设有N个状态数，那么每个状态

的概率p

脽脱/N，则N 脽脱/p

。如果对N 个状态数进行二进制编码，前缀

码脨腐腲腥脌腸腃腯腤腥腳脩的种类数为N，那么二进制码的长度必须要为：

Len脨p

脩脽腬腯腧 N 脽腬腯腧

脱

假设有一组概率值{p

, . . . , p

}，那么我们要求平均编码长度：

E脨Len脨p

脩脩脽

i=1

Len脨p

脩脽

i=1

腬腯腧

脱

期望编码长度的解释比较直观。首先通过概率倒数来解释成状态数，然后

通过编码长度来解释腬腯腧的作用。

8.1.2.1 相相相对对对熵熵熵

在香农信息熵的基础上，可以很容易地得到相对熵脨腒腥腬腡腴腩腶腥腅腮腴腲腯腰腹脬腒腅脩的

定义：

RE脨P kQ脩脽 −

P 脨i脩腬腯腧

P 脨i脩

Q脨i脩

脽

P 脨i脩脨腬腯腧

脱

P 脨i脩

− 腬腯腧

脱

Q脨i脩

脩

上式可以这样理解：给定腑分布，想看一下在腐分布情况，于是就用腐的编码

长度减去腑的编码长度在腐分布下的期望作为一种衡量。

8.1.2.2 KL散散散度度度

从相对熵的概念我们可以定义出两个分布的散度。由于相对熵恒小于脰，且

散度定义要求其必须非负，所以在相对熵的前面加一个负号，就得到了我们

需要的散度，即腋腌散度脨腋腵腬腬腢腡腣腫脭腌腥腩腢腬腥腲腄腩腶腥腲腧腥腮腣腥脩：

脨P kQ脩脽

P 脨i脩腬腯腧

P 脨i脩

Q脨i脩

脽

P 脨i脩脨腬腯腧

脱

Q脨i脩

− 腬腯腧

脱

P 脨i脩

脩

脸脮脱对信息熵的理解脶脵

给定腑分布，腐分布与腑分布的腋腌散度即为，对于腑的编码长度与腐的编码

Fig. 8.1 腋腌散度脨腋腵腬腬腢腡腣腫脭腌腥腩腢腬腥腲腄腩腶腥腲腧腥腮腣腥脩

长度腬腯腧

Q(i)

− 腬腯腧

P (i)

之差在腐上面的期望。从图脸脮脱可以看到编码长度之差

可能有正有负，然后按腐的概率密度积分就是编码长度之差的期望了。

8.1.2.3 互互互信信信息息息

互信息脨腍腵腴腵腡腬腉腮腦腯腲腭腡腴腩腯腮脬腍腉脩的定义如下：

I脨X脻 Y 脩脽

x,y

p脨x, y脩腬腯腧

p脨x, y脩

p脨x脩p脨y脩

脽

x,y

p脨x, y脩脨腬腯腧

脱

p脨x脩p脨y脩

− 腬腯腧

脱

p脨x, y脩

脩

假设X与Y 相互独立的那么p脨x, y脩脽 p脨x脩p脨y脩，于是互信息的直观意义就

是X，Y 在假设在独立情况下，和真实的非独立情况下的编码长度之差

在X和Y 联合分布上的期望。我们对这个式子进一步化解脺

I脨X脻 Y 脩脽

x,y

p脨x, y脩腬腯腧

p脨x, y脩

p脨x脩p脨y脩

脽

p脨y脩

p脨x|y脩腬腯腧

p脨x|y脩

p脨x脩

脽

p脨y脩 D

脨p脨x|y脩kp脨x脩脩

脽 E

脨p脨x|y脩kp脨x脩脩}.

因此互信息也可以看成条件分布p脨x|y脩到分布p脨x脩的腋腌散度在Y 上的期望。

此外，互信息还和条件熵有着极大关系腼腼互信息可以看成是熵和条件熵

之差脨参见图脸脮脲脩脺

脶脶脸来自熵脨腅腮腴腲腯腰腹脩的解释

I脨X脻 Y 脩脽

x,y

p脨x, y脩腬腯腧

p脨x, y脩

p脨x脩p脨y脩

脽

x,y

p脨x, y脩腬腯腧

p脨x, y脩

p脨x脩

−

x,y

p脨x, y脩腬腯腧 p脨y脩

脽

x,y

p脨x脩p脨y|x脩腬腯腧 p脨y|x脩 −

x,y

p脨x, y脩腬腯腧 p脨y脩

脽

p脨x脩

p脨y|x脩腬腯腧 p脨y|x脩

−

腬腯腧 p脨y脩

p脨x, y脩

脽 −

p脨x脩H脨Y |X 脽 x脩 −

腬腯腧 p脨y脩p脨y脩

脽 −H脨Y |X脩脫 H脨Y 脩

脽 H脨Y 脩 − H脨Y |X脩.

Fig. 8.2 互信息脨腍腵腴腵腡腬腉腮腦腯腲腭腡腴腩腯腮脩

脸脮脲最大信息熵原理脶脷

8.2 最最最大大大信信信息息息熵熵熵原原原理理理

8.2.1 最最最大大大熵熵熵解解解释释释原原原理理理的的的直直直观观观理理理解解解

我们在上一部分中通过最大熵原理导出了逻辑回归的形式，事实上最大熵

原理也是可以推导出来的。假设总有腎的定额配量脨腱腵腡腮腴腡脩分到腍个状态中

去，若每个状态中分到n

，那么处在那个状态的概率为

脽

现在的问题是如何配置p

，使得分配腎个球到腍个状态的状态数最大。这有

点类似于腎次掷腍面骰子的多项式分布，那么会掷出多少中不同的状态数

呢？根据多项式组合：

W 脽

N脡

脡 n

脡 ··· n

脡

我们也知道每次掷骰子可能有腍种情况，那么总数为m

次，由此概率为

P 脨p脩脽

那么，这个概率越大，或者说腗越大脨或者说哪种状态分配下，可以选择的

排列数越多脩，就表示该种状态分配的不确定性越大，即熵越大。则最最最大大大不不不

确确确定定定性性性就是要最最最大大大W。假设我们固定状态数腍，让实验数N → ∞，根据玻

尔兹曼的定义形式：

脱

腬腯腧 W 脽

脱

腬腯腧

N脡

脡 n

脡 ··· n

脡

脽

脱

腬腯腧

N脡

脨Np

脩脡脨Np

脩脡 ··· 脨Np

脩脡

脽

脱

腬腯腧 N脡 −

i=1

腬腯腧脨脨Np

脩脡脩

当腎趋于无穷大的时候，我们根据斯特林腓腴腩腲腬腩腮腧近似

腬腮 n脡脽 n 腬腮 n − n 脫 O脨腬腮 n脩

可以得到

脶脸脸来自熵脨腅腮腴腲腯腰腹脩的解释

腬腩腭

N→∞



脱

腬腯腧 W



脽

脱

N 腬腯腧 N − N −

i=1

脨Np

腬腯腧脨Np

脩 − N p

脩

脽腬腯腧 N −

i=1

腬腯腧脨Np

脩 − N 脨脱 −

i=1

脩

脽腬腯腧 N − 腬腯腧 N

i=1

−

i=1

腬腯腧 p

脽

脱 −

i=1

腬腯腧 N −

i=1

腬腯腧 p

脽 −

i=1

腬腯腧 p

脽 H脨p脩.

上面的推导直观地说明了最大熵原理的含义，即找一个分布使得在这个分布

上，不确定性最大。

8.2.2 自自自然然然指指指数数数分分分布布布族族族的的的最最最大大大熵熵熵解解解释释释

我们在腇腌腍那部分中用到的自然指数分布族所具有的通式，可以从最大熵

直接导出。首先给出三个假设和一个目标：

脱脮初始观察分布m脨x脩：这个可以是随意的观察情况，不一定必须是一个分

布函数。

脲脮

x∈S

f脨x脩脽脱脬 f脨x脩 ≥ 脰：满足分布函数的情况，这里仅仅考虑离散的情

况。

脳脮

x∈S

脨x脩f脨x脩脽 E{t

脨x脩} 脽 µ

，其中j ∈ J：t

脨x脩是在结合上的一个测

量函数，并且我们知道测量值的期望是µ

。

脴脮目标：腡腲腧腭腡腸

f(x)

RE脨f脨x脩km脨x脩脩：我们希望找一个函数满足上述的限

制条件，并且尽可能与初始观察分布的相对熵最大。

RE脨f脨x脩km脨x脩脩脽 −

x∈S

f脨x脩腬腯腧

f脨x脩

m脨x脩

应用拉格朗日乘数法脺

L脨f脩脽 −

x∈S

f脨x脩腬腯腧

f脨x脩

m脨x脩

脫 λ脨

x∈S

f脨x脩 − 脱脩脫

j∈J

脨

x∈S

脨x脩f脨x脩 − µ

脩

令L脨f脩对f的导数为脰

脸脮脲最大信息熵原理脶脹

脰脽

∂L脨f脩

∂f

脽 −脨腬腯腧

f脨x脩

m脨x脩

脫脱脩脫 λ 脫

j∈J

脨x脩

脽 −腬腯腧 f脨x脩脫腬腯腧 m脨x脩 − 脱脫 λ 脫

j∈J

脨x脩

从而得到

f脨x脩脽 m脨x脩腥腸腰腛λ − 脱脫

j∈J

脨x脩腝脨脸脮脲脩

接下来应用概率求和为脱的限制条件：

脱脽

x∈S

f脨x脩脽

x∈S

m脨x脩腥腸腰{λ − 脱脫

j∈J

脨x脩}

脽 e

λ−1

x∈S

m脨x脩腥腸腰{

j∈J

脨x脩}

于是有

脱 − λ 脽腬腯腧





x∈S

m脨x脩腥腸腰腛

j∈J

脨x脩腝





我们将上式的右边定义为b脨θ脩，其中θ 脽脨θ

, . . . , θ

|J|

脩，t脨x脩脽脨t

脨x脩, . . . , t

|J|

脨x脩脩：

b脨θ脩脽腬腯腧





x∈S

m脨x脩腥腸腰腛

j∈J

脨x脩腝





脽腬腯腧



E脨e

t(x)

脩



脽脱 − λ

在脨脸脮脲脩式中替换脱 − λ得到f脨x脩的如下形式：

f脨x脩脽 m脨x脩腥腸腰腛−b脨θ脩脫

j∈J

脨x脩腝脨脸脮脳脩

脽 m脨x脩腥腸腰腛t脨x脩

θ − b脨θ脩腝脨脸脮脴脩

脨脸脮脴脩式即为自然指数分布族的形式，其中b脨θ脩是累积量生成函数。由于最

大相对熵就是最小腋腌散度，由此我们可以得出看出，自然指数分布族的形

式，其实就是和初始观察分布最相似的满足对不同定义的测量值的期望在固

定情况下的概率密度函数。

脷脰脸来自熵脨腅腮腴腲腯腰腹脩的解释

8.2.3 最最最大大大似似似然然然估估估计计计的的的最最最大大大熵熵熵解解解释释释

最大相对熵不仅仅可以用来推导出自然指数分布，而且可以作为最大似然估

计的理论基础。

假设我们观察到N个样本，那么根据样本的估算概率，或者说根据频率来

计算一个经验分布腾p脨x脩定义如下：

腾p脨x脩脽

脱

n=1

δ脨x, x

脩

其中δ脨x, x

脩是狄拉克测量脨腄腩腲腡腣腍腥腡腳腵腲腥脩，在这里是和指示函数等价的。

根据大数定理我们知道当抽样n → ∞的时候，腾p脨x脩 → p脨x脩。我们考虑利

用最大相对熵计算根据样本的估算概率腾p脨x脩与给定参数的条件分布p脨x脻 θ脩。

首先有相对熵：

RE 脨腾p脨x脩kp脨x|θ脩脩脽 −

腾p脨x脩腬腯腧

腾p脨x脩

p脨x|θ脩

脨脸脮脵脩

脽 −

腾p脨x脩腬腯腧腾p脨x脩脫

腾p脨x脩腬腯腧 p脨x|θ脩脨脸脮脶脩

根据最大相对熵：

腭腡腸 RE 脨腾p脨x脩kp脨x|θ脩脩 ⇔ 腭腩腮 D

脨腾p脨x脩kp脨x|θ脩脩

⇒ θ

∗

脽腡腲腧腭腡腸

RE 脨腾p脨x脩kp脨x|θ脩脩

⇒ θ

∗

脽腡腲腧腭腡腸

腾p脨x脩腬腯腧 p脨x|θ脩

将前面的经验分布代入：

腾p脨x脩腬腯腧 p脨x|θ脩脽

脱

n=1

δ脨x, x

脩腬腯腧 p脨x|θ脩

脽

脱

n=1

δ脨x, x

脩腬腯腧 p脨x|θ脩

脽

脱

n=1

腬腯腧 p脨x

|θ脩

而同时我们知道对数似然函数脨腌腯腧腌腩腫腥腬腩腨腯腯腤脬腌腌脩的表达式如下：

脸脮脲最大信息熵原理脷脱

`脨θ脩脽腬腯腧 P 脨X|θ脩脽

n=1

腬腯腧 p脨x

|θ脩

结合起来最终得到：

∗

脽腡腲腧腭腡腸

RE 脨腾p脨x脩kp脨x|θ脩脩

脽腡腲腧腭腡腸

腾p脨x脩腬腯腧 p脨x|θ脩

脽腡腲腧腭腡腸

脱

n=1

腬腯腧 p脨x

|θ脩

脽腡腲腧腭腡腸

脱

`脨θ脩

脽腡腲腧腭腡腸

`脨θ脩

由此根据最大熵，我们可以得出最大似然估计。此外根据式子脨脸脮脶脩，我们可

以得到如下公式：

RE 脨腾p脨x脩kp脨x|θ脩脩脽 −D

脨腾p脨x脩kp脨x|θ脩脩脽 H脨腾p脨x脩脩脫

脱

`脨θ脩

这个表达式在变分分析脨腖腡腲腩腡腴腩腯腮腡腬腉腮腦腥腲腥腮腣腥脩可能会来构建逼近下限。

脷脲脸来自熵脨腅腮腴腲腯腰腹脩的解释

Appendices

脷脳

Appendix C

附附附录录录

C.1 信信信息息息熵熵熵的的的由由由来来来

鲁道夫脮克劳修斯腒腵腤腯腬腦脮腃腬腡腵腳腩腵腳，这位来自科沙林的大神，学文学出生，

从能量守恒中重新认识少年天才尼古拉脮卡诺腎腩腣腯腬腡腳脮腃腡腲腮腯腴的卡诺热机和

循环的卡诺原理，建立热力学第二定律，命名了熵腅腮腴腲腯腰腹。法国天才卡

诺，脳脶岁就霍乱而死，匠人，写下《论火的动力》，成为热力学之父！死前

孤独凄凉，著作无人问津。克劳修斯把熵记成腓，是卡诺的中间名腓腡腤腩。克

劳修斯，脱脵年研究，出了一篇论文，修神功成！

Fig. C.1 尼古拉脮卡诺腎腩腣腯腬腡腳脮腃腡腲腮腯腴

约西亚脮吉布斯腊腯腳腩腡腨脮腇腩腢腢腳，全才，出生耶鲁的他，把统计引入热力学。

在克劳修斯基础上，提出能量变化的计算。统计热力学的另外两位剑客，詹

姆斯脮麦克斯韦腊腡腭腥腳脮腍腡腸腷腥腬腬和路德维希脮波尔兹曼腌腵腤腷腩腧脮腂腯腬腴腺腭腡腮，一个

师出剑桥，一个师出维也纳大学。

波尔兹曼第一次定义熵为乱序的统计。并且引入对数形式。吉布斯对此进

行改进，成为统计热力学的基石。并且标记熵为腈函数。

脷脵

脷脶腃附录

Fig. C.2 鲁道夫脮克劳修斯腒腵腤腯腬腦脮腃腬腡腵腳腩腵腳

Fig. C.3 约西亚脮吉布斯腊腯腳腩腡腨脮腇腩腢腢腳

Fig. C.4 艾尔文脮薛定谔腅腲腷腩腮脮腓腣腨腲腯腤腩腮腧腥腲

艾尔文脮薛定谔腅腲腷腩腮脮腓腣腨腲腯腤腩腮腧腥腲，同样出生维也纳大学，量子力学奠基

人（量子力学量力学）第一次把概率倒数解释称状态数量，这样对数形式就

可以解释成编码长度。并且引入了负号。

年轻的克劳德脮香农腃腬腡腵腤腥脮腓腨腡腮腮腯腮，密西根大学的天才，将薛定谔的解

释正式引入信号处理中，定义为信息损失。从此建立了信息熵，开创了信息

理论。在和计算机之神约翰脮冯脮诺伊曼腊腯腨腮脮腶腯腮脮腎腥腵腭腡腮腮，来自苏黎世联邦

理工大学的少年天才，讨论后正式把信息熵定义成不确信的测度。并且给出

了腈函数的定义。

腃脮脱信息熵的由来脷脷

Fig. C.5 克劳德脮香农腃腬腡腵腤腥脮腓腨腡腮腮腯腮

Fig. C.6 约翰脮冯脮诺伊曼腊腯腨腮脮腶腯腮脮腎腥腵腭腡腮腮

Fig. C.7 埃德温脮杰恩斯腅腤腷腩腮脮腊腡腹腮腥腳

埃德温脮杰恩斯腅腤腷腩腮脮腔脮腊腡腹腮腥腳脬普林斯顿的杰出统计学家，开创性的通

过逻辑来解释统计，通过最大熵来解释统计，由此开创了统计分析的贝叶斯

学派。

至此，熵一发而不可收拾的成为诸多信息处理理论基石！

Part VII

Logistic PCA

Chapter 9

Logistic PCA和和和PCA在在在指指指数数数分分分布布布族族族上上上的的的推推推广广广

我们在第脲章介绍了广义线性模型，并通过广义线性模型对线性回归进行

了拓展，使得我们可以对满足不同分布脨指数分布族脩的期望输出进行回归

拟合。这种利用指数分布族处理不同形式数据脨连续、多类、二值等脩的思

想同样可以用于其它场景，比如降维脨腄腩腭腥腮腳腩腯腮腡腬腩腴腹腒腥腤腵腣腴腩腯腮脩中的主成

分分析脨腐腲腩腮腣腩腰腡腬腃腯腭腰腯腮腥腮腴腁腮腡腬腹腳腩腳脬腐腃腁脩。我们知道经典的腐腃腁只能用

于连续变量，而接下来我们会利用指数分布族对其进行推广。这跟我们利

用腇腌腍对只能用于期望输出是连续变量的线性回归进行推广是非常相似

的。

9.1 主主主成成成份份份分分分析析析(PCA)

设x

, ··· , x

∈ R

，并假设数据已经经过中心化脨腃腥腮腴腲腡腬腩腺腡腴腩腯腮脩即

脽

脰。腐腃腁要解决的问题是：在一个维度更低的空间R

中表示这些数据点脨d <

D脩。

下面我们分别从三个方向证明和解释腐腃腁。

9.1.1 最最最大大大方方方差差差投投投影影影

考虑把数据点向一个通过原点的超平面脨腈腹腰腥腲腰腬腡腮腥脩投影脨腐腲腯腪腥腣腴腩腯腮脩，设该

超平面的单位法向量为w ∈ R

。数据点x 向w的投影为

x 脨脹脮脱脩

则投影后的数据集方差脨腖腡腲腩腡腮腣腥脩为

脱

i=1

脨w

脩

脽 w

Sw 脨脹脮脲脩

脸脱

脸脲脹腌腯腧腩腳腴腩腣腐腃腁和腐腃腁在指数分布族上的推广

其中

S 脽

脱

脨脹脮脳脩

因为已经假设所有数据点已经过中心化处理，所以S即为数据集的协方差矩

阵脨Covariance Matrix 脩。

腐腃腁所做的事情是寻找一个w使得数据集在其上的投影方差最大，其背后

的思想是最大程度地保留数据点之间的差异。可以看出这是一个有限制条件

的最优化问题：

腭腡腸

Sw 脨脹脮脴脩

s.t. kwk 脽脱脨脹脮脵脩

于是就可以使用拉格朗日乘数法脨Lagrangian脩进行求解

L 脽 w

Sw 脫 λ脨脱 − w

w脩脨脹脮脶脩

L对w求偏导得到

∂L

∂w

脽脲Sw − 脲λw 脨脹脮脷脩

令上式等于脰可得

Sw 脽 λw 脨脹脮脸脩

而上式恰好是矩阵的特征值和特征向量的定义式。w是协方差矩阵S的特征

向量，而λ是其对应的特征值。现在的问题是，哪一个特征向量w所确定的

超平面才是我们所寻找的方差最大投影的那个超平面呢？根据脨脹脮脴脩式数据集

投影方差为

Sw 脽 w

λw 脽 λ 脨脹脮脹脩

因此，最大的特征值对应的特征向量就是我们寻找的超平面w。

9.1.2 最最最小小小重重重建建建误误误差差差

现在我们从另外一个角度腼腼重建脨腒腥腣腯腮腳腴腲腵腣腴腩腯腮脩来解释腐腃腁。设任意一

组正交基u

, ··· , u

，那么任意一个中心化之后的数据点x

可以表示成这组

正交基的线性组合

脽

j=1

脨脹脮脱脰脩

其中

脽 u

脨脹脮脱脱脩

既然我们的最终目标是降低维度，那么考虑选取d个正交基上的分量进行重

建，得到原始数据点x

的近似：

脹脮脱主成份分析脨腐腃腁脩脸脳

腞

脽

j=1

脨脹脮脱脲脩

我们希望重建出来的

腞

与原始数据点x

的误差脨腅腲腲腯腲脩尽可能的小：

脱

i=1

−

腞

脽

脱

i=1

j=1

−

j=1

脨脹脮脱脳脩

脽

脱

i=1

j=d+1

脨脹脮脱脴脩

脽

脱

i=1

j=d+1

脨脹脮脱脵脩

脽

脱

i=1

j=d+1

脨脹脮脱脶脩

脽

j=d+1

脨脹脮脱脷脩

其中脨脹脮脱脵脩因为u相互正交，脨脹脮脱脶脩因为直接代入脨脹脮脱脱脩，脨脹脮脱脷脩由直接带入协

方差矩阵的定义式脨脹脮脳脩得到。现在的问题是，如何选择那些去掉的D − d个

正交基呢？考虑d 脽 D − 脱的情况，此时我们需要去掉一个维度，很容易看

出我们应该去掉协方差矩阵S最小特征值λ

对应的那个特征向量w

，因为

在该超平面上，数据集投影的方差w

脽 λ

最小。类似地，我们逐步

去掉特征值第脲小、第脳小脮脮脮脮脮脮第脨腄脭腤脩小的方向脨特征向量脩，就得到了我们

希望的结果。

9.1.3 高高高斯斯斯随随随机机机采采采样样样

在腐腃腁的最小重建误差解释中我们的目标是重建出来的近似

腞

与原始数据

点x

的误差脨腅腲腲腯腲脩尽可能的小，即

脱

i=1

−

腞

脨脹脮脱脸脩

现在我们在此基础上从概率分布的角度来解释腐腃腁。每一个数据点x

看作

是从一个未知的分布P

的随机采样，其中P

表示一个均值为θ ∈ R

的高

斯分布。而腐腃腁的目的是找到一组对应的参数θ

, ··· , θ

使得原始数据的

似然脨腌腩腫腥腬腩腨腯腯腤脩最大，且这些参数都存在于一个更低维度的空间中。从这

个角度看，真实数据点θ

, ··· , θ

被噪声脨腎腯腩腳腥脩污染后分别成为了原始数

据点x

, ··· , x

，而腐腃腁所做的事情是在假设噪声服从高斯分布的条件下

脸脴脹腌腯腧腩腳腴腩腣腐腃腁和腐腃腁在指数分布族上的推广

找到这些真实数据点。如果我们对高斯模型进行极大似然估计脨腍腌腅脩，并

将腍腌腅等价地转化为负腌腯腧似然函数脨Negative Log Likelihood, NLL脩，忽略

掉常数项之后将会得到

脱

i=1

− θ

脨脹脮脱脹脩

上式脨脹脮脱脹脩其实就是脨脹脮脱脸脩式，二者等价。

对于数据点x

是连续变量的情况，我们可以使用经典腐腃腁，并通过上述

三种方式进行解释。然而当数据是二值，整型，或者非负等时候，高斯

假设就不再合适了。如果在这些情况下还想继续使用腐腃腁，那就要对经

典腐腃腁算法进行推广了。

9.2 PCA在在在指指指数数数分分分布布布族族族上上上的的的推推推广广广

我们现在面临的问题是，在数据x

是非连续变量的情况时如何进行腐腃腁。这

与本材料第二部分开头我们所面对的问题腼腼如何对非连续的期望输出进行

线性回归，是非常相似的。我们利用指数分布族，成功地把只能用于连续

变量的线性回归推广到了可用于期望输出服从任意指数分布的广义线性模

型脨腇腌腍脩。现在让我们对腐腃腁做同样的事情。

在开始推导之前，为了简化运算，让我们对指数分布族进行一些限定。

在第二部分腇腌腍中，我们用到了指数分布族的腎腡腴腵腲腡腬腆腯腲腭通式脨脲脮脱脩，现

在给出指数分布族中专门针对腇腌腍的一个子集腼腼自然指数分布族脨Natural

Exponential Family脩。

9.2.1 自自自然然然指指指数数数分分分布布布族族族

一般地，指数分布族可以表示成如下形式：

P 脨x脻 θ脩脽 P

脨x脩腥腸腰脨η脨θ脩T 脨x脩 − G脨θ脩脩脨脹脮脲脰脩

其中θ为参数，P

脨x脩和G脨θ脩为各自的已知函数，η脨θ脩T 脨x脩为参数和变量的

函数的乘积。而在其子集腼腼自然指数分布族中，η脨θ脩和T 脨x脩皆为恒等函

数脨Identity Function脩，则自然指数分布族可以表示为

P 脨x脻 θ脩脽 P

脨x脩腥腸腰脨θx − G脨θ脩脩脨脹脮脲脱脩

对脨脹脮脲脱脩进行一点点变换：

P 脨x脻 θ脩脽

脨x脩e

θx

G(θ)

上式两边对所有的x求和

脹脮脲腐腃腁在指数分布族上的推广脸脵

P 脨x脻 θ脩脽

脨x脩e

θx

G(θ)

脱脽

脨x脩e

θx

G(θ)

脽

脨x脩e

θx

G脨θ脩脽腬腯腧

脨x脩e

θx

脨脹脮脲脲脩

因此可以看出，G脨θ脩的作用是保证P 脨x脻 θ脩在x域上求和等于脱。如果还记得我

们在第二部分腇腌腍中提到过的累积量生产函数脨参见脨脲脮脵脩脩，则G脨θ脩又可以看

作是分布P

脨x脩的累积量生成函数。除了以上两点之外，G脨θ脩还有一个对于

我们推广腐腃腁最重要的性质。如果对G脨θ脩进行求导：

脨θ脩脽

脨x脩e

θx

· x

脨x脩e

θx

脨脹脮脲脳脩

脽

脨x脩e

θx

· x

G(θ)

脨脹脮脲脴脩

脽

脨x脩e

θx−G(θ)

· x 脨脹脮脲脵脩

其中脨脹脮脲脳脩到脨脹脮脲脴脩是代入G脨θ脩脨脹脮脲脲脩。脨脹脮脲脵脩表明G脨θ脩的一阶导数为x在分

布P 脨x脻 θ脩上的期望E脨x|θ脩。我们把G脨θ脩的一阶导数记为g脨θ脩。

在经典腐腃腁的第三个解释腜高斯随机采样脢那一节，我们把数据x

看作是

服从高斯分布的采样，并且使用欧式距离衡量误差。同时我们也已经指出，

之所以使用欧式距离是因为高斯模型的腎腌腌等价于欧式距离脨参见脨脹脮脱脹脩脩。

上一个小节里我们已经把高斯分布推广到了自然指数分布族，那么对应

的误差衡量也将不再是欧式距离，误差衡量同样需要推广。所以在介绍

广义腐腃腁之前，我们还需要介绍另外一个概念腼腼腂腲腥腧腭腡腮散度脨Bregman

Divergence脩。

9.2.2 Bregman散散散度度度

首先直接给出腂腲腥腧腭腡腮散度的定义。

令F 脺 ∆ → R是一个定义在完备的脨腃腬腯腳腥腤脩凸脨腃腯腮腶腥腸脩集∆ ∈ R 上的可

导脨腄腩脋腥腲腥腮腴腩腡腢腬腥脩且严格凸脨腓腴腲腩腣腴腬腹腃腯腮腶腥腸脩的函数。则F 函数的腂腲腥腧腭腡腮散

度定义为：

脨pkq脩脽 F 脨p脩 − F 脨q脩 − f脨q脩脨p − q脩脨脹脮脲脶脩

其中p, q ∈ ∆，f 脨x脩脽 F

脨x脩为F 函数的一阶导。如何直观地理解脨脹脮脲脶脩式

呢？对函数F 脨p脩在q点进行泰勒展开就清楚了：

脸脶脹腌腯腧腩腳腴腩腣腐腃腁和腐腃腁在指数分布族上的推广

F 脨p脩脽

F 脨q脩

脰脡

脫

脨q脩

脱脡

脨p − q脩脫 R

脨p脩脨脹脮脲脷脩

脨p脩脽 F 脨p脩 − F 脨q脩 − f 脨q脩脨p − q脩脨脹脮脲脸脩

由脨脹脮脲脸脩式可以看出，Bregman散散散度度度就就就是是是函函函数数数F 脨p脩在在在q点点点进进进行行行一一一阶阶阶泰泰泰勒勒勒展展展开开开

的的的余余余项项项R

脨p脩，，，即即即函函函数数数F 脨p脩与与与该该该函函函数数数自自自己己己的的的线线线性性性近近近似似似(一一一阶阶阶泰泰泰勒勒勒展展展开开开)之之之间间间

的的的差差差。

不同的函数具有不同的腂腲腥腧腭腡腮散度。例如当F 脨x脩脽 kxk

时，其对应

的腂腲腥腧腭腡腮散度为B

脨xky脩脽 kx −yk

欧式距离；而当F 脨p脩脽

腬腯腧 p

负

的熵时，其对应的腂腲腥腧腭腡腮散度为B

脨pkq脩脽

腬腯腧

即腋腌散度脨KL-

Divergence脩。

现在我们有了自然指数分布族及每一个分布对应的误差衡量脨腂腲腥腧腭腡腮散

度脩，可以进行腐腃腁在指数分布族上的推导了。

9.2.3 PCA在在在指指指数数数分分分布布布族族族上上上的的的推推推广广广(PCA for the

Exponential Family)

到这里，最后要解决的问题是：给定一组数据x

, ··· , x

和某个指数族分

布P 脨x脻 θ脩，找到一组参数θ

, ··· , θ

，使得数据集的似然函数脨腌腩腫腥腬腩腨腯腯腤脩最

大，即

Θ 脽腡腲腧腭腡腸

L脨P, x, Θ脩脨脹脮脲脹脩

脽腡腲腧腭腡腸

P 脨x

脻 θ

脩脨脹脮脳脰脩

对于P 脨x 脻 θ脩，取腬腯腧可得

腬腯腧 P 脨x 脻 θ脩脽腬腯腧 P

脨x 脩脫 x θ − G脨θ脩脨脹脮脳脱脩

此处我们需要新定义一个函数：令g脨θ脩脽 µ，那么定义G脨θ脩的对偶脨腄腵腡腬脩函

数F 脨µ脩为

F 脨µ脩脽 θµ − G脨θ脩脨脹脮脳脲脩

于是有：

F 脨x脩 − B

脨xkµ脩脽 F 脨x脩 − 腛F 脨x脩 − F 脨µ脩 − F

脨µ脩脨x − µ脩腝脨脹脮脳脳脩

脽 F 脨µ脩脫 θ脨x − µ脩脨脹脮脳脴脩

脽 xθ 脫 F 脨µ脩 − θµ 脨脹脮脳脵脩

脽 xθ − G脨θ脩脨脹脮脳脶脩

其中脨脹脮脳脳脩到脨脹脮脳脴脩是因为F

脨µ脩脽 θ脨F 脨µ脩对µ求导脩，脨脹脮脳脵脩到脨脹脮脳脶脩是代入F 脨µ脩

的定义脨脹脮脳脲脩式。

脹脮脲腐腃腁在指数分布族上的推广脸脷

把xθ − G脨θ脩脽 F 脨x脩 − B

脨xkµ脩代入脨脹脮脳脱脩得到

腬腯腧 P 脨x 脻 θ脩脽腬腯腧 P

脨x 脩脫 F 脨x 脩 − B

脨x kµ脩脨脹脮脳脷脩

于是在Θ的腎腌腌脨脨脹脮脳脰脩取负的腬腯腧脩中代入脨脹脮脳脷脩得到

L脨Θ脩脽 −

腬腯腧 P 脨x

脻 θ

脩脨脹脮脳脸脩

脽 C脨x 脩脫

脨x

kg脨θ

脩脩脨脹脮脳脹脩

脽 C脨x 脩脫 B

脨x kg脨Θ脩脩脨脹脮脴脰脩

到此，我们的目标函数为

pca

脽腡腲腧腭腩腮

脨x kg脨Θ脩脩脨脹脮脴脱脩

不要忘记，我们的目标是降维。所以最终的问题是，希望找到θ

，其

尽可能的接近x

，且存在于一个更低维度的空间中。根据本章开始部分

介绍的第二种腐腃腁解释腜最小重构误差脢的思想脨参见脨脹脮脱脲脩脩，降维的方法

是找到一组基v

, . . . , v

∈ R

，并将每一个θ

表示称为这组集的线性组

合θ

脽

，且最接近x

。

令X表示n × D的矩阵，其行向量为x

；令V 表示d × D的矩阵，其行

向量为v

；令A表示n × d的矩阵，其每一个分量为a

。则Θ 脽 AV是一

个n × D的矩阵，其第i行为θ

。Θ的每一个分量θ

与X 的每一个分量x

一

一对应，θ

定义了x

的概率。在把Θ矩阵分解成A和V两个矩阵的乘积之

后，脨脹脮脳脸脩便表示为

L脨V, A脩脽 −腬腯腧 P 脨X脻 A, V脩脨脹脮脴脲脩

脽 −

腬腯腧 P 脨x

脻 θ

脩脨脹脮脴脳脩

脽 C脨x 脩脫

脨−x

脫 G脨θ

脩脩脨脹脮脴脴脩

去掉与θ无关的常数项C脨x 脩并写成腂腲腥腧腭腡腮散度脨代入脨脹脮脳脶脩脩的形式得到

L脨V, A脩脽

脨x

kg脨θ

脩脩脨脹脮脴脵脩

使用类似腃腯腯腲腤腩腮腡腴腥腄腥腳腣腥腮腴的思想，固定A求V，之后固定V求A，不断迭

代，最终求得A和V。

最后我们再来简单的总结一下：原始数据为x

，我们认为x

服从某个

参数未知但形式已知的指数族分布P 脨x 脻 θ脩，该指数族分布对应一个具体

的腂腲腥腧腭腡腮散度B

脨pkq脩；通过腂腲腥腧腭腡腮散度便可以对原始数据做腂腲腥腧腭腡腮

脸脸脹腌腯腧腩腳腴腩腣腐腃腁和腐腃腁在指数分布族上的推广

投影脨Bregman Projection脩，x

的腂腲腥腧腭腡腮投影为g脨θ

脩；在投影之前，我们

把θ

表示成一个更低维度空间的基v

, . . . , v

的线性组合，其组合系数

为a

i,1

, . . . , a

i,l

，即θ

脽

k=1

；最终的目标是找到A和V，使得x

与

其腂腲腥腧腭腡腮投影的腂腲腥腧腭腡腮散度最小，即：

脨V, A脩脽腡腲腧腭腩腮

V,A

i=1

脨x

kg脨

k=1

i,k

脩脩脨脹脮脴脶脩

从V的角度看，指数分布族上的腐腃腁是在一个低维空间里寻找一组基脨矩

阵V脩，该组基定义了一个尽可能接近原始数据x

的面脨腓腵腲腦腡腣腥脩。设由基V定

义的面为S脨V脩脽 {g脨aV脩|a ∈ R

}，则我们寻找的V为：

V 脽腡腲腧腭腩腮

腭腩腮

q∈S(V)

脨x

kq脩脨脹脮脴脷脩