《统计学习要素：机器学习中的数据挖掘、推断与预测(第2版)》在一个通用的概念框架中描述通用于数据挖掘、机器学习和生物信息学等领域的重要思想和概念。这些统计学范畴下的概念是人工智能与机器学习的基础。全书共18 章，主题包括监督学习、回归的线性方法、分类的线性方法、基展开和正则化、核光滑方法、模型评估和选择、模型推断和平均、加性模型、树和相关方法、Boosting 和加性树、神经网络、支持向量机和柔性判断、原型方法和最近邻、非监督学习、随机森林、集成学习、无向图模型和高维问题等。

《统计学习要素：机器学习中的数据挖掘、推断与预测(第2版)》主题全面，是一本经典的统计学习教材，适合本科高年级学生和研究生使用和参考。

第2版

“我们信靠上帝，其他的只信数据！”

— 威廉·爱德华·戴明(William Edwards Deming, 1900—1993) ①②

本书第1 版受到了广大读者的肯定和欢迎，让我们备受鼓舞。同时，自此书出版以来，统计学习领域的研究步伐也日新月异。这些促使我们将本书更新至第2 版。

我们增加了4 章新的内容，并更新了已有章节的部分内容。考虑到许多读者对第1 版的布局比较熟悉，我们尝试了尽量少改动本书的结构。下表总结一些主要的变化。

章                             新增内容

1. 概述

2. 监督学习综述

3. 回归的线性方法           最小角度回归（Least Angle Regression，LAR）

算法和Lasso 的推广

4. 分类的线性方法           用于逻辑斯特回归（logistic）的Lasso 路径

5. 基展开与正则化           增加了对重建核希尔伯特空间（RKHS）的描述

6. 核平滑方法

7. 模型的评估和选择         交叉验证的优势和陷阱

8. 模型的推断和平均

9. 加性模型、树和相关方法

10. Boosting 和加性树         一个生态学的新示例, 一些内容被转到第16章

11. 神经网络                   贝叶斯神经网和NIPS 2003 挑战

12. 支持向量机和柔性判别分析    支持向量机（SVM）分类器的路径算法

13. 原型方法与最近邻

14. 非监督学习               谱聚类，核主成分分析（PCA），稀疏PCA，非

                             负矩阵分解中的典型分析，非线性维数约简，谷

                             歌的页面排名（Page Rank）算法，一个实现独

                             立分量分析（ICA）的直接方法

15. 随机森林                   新

16. 集成学习                   新

17. 无向图模型                 新

18. 高维问题：?? ? ??           新

① 在网络上，这一引语曾经广泛认为是戴明（Deming）和海登（Robert W. Hayden）提出的。

然而，海登教授告诉我们，他从未说过此话。比较搞笑的是，我们也没有找到“数据”来证实戴

明实际上说过这句话。

② 中文版编注：在NASA 有一间会议室的墙上，有这样一句原话：“In God we trust, all others

bring data.”

其他说明如下。

? 第1 版对色盲读者不是太友好，特别是我们偏好采用会引起麻烦的红/绿对比。在新版中，我们对颜色配置进行了较大的改进，用橙色/蓝色对比来代替原来的红/绿对比。

? 我们将第6章的标题从“核方法”改成“核平滑方法”，以免与第12章中的支持向量机部分以及第5章和第14章、在机器学习框架下广泛讨论的核方法混淆。

? 在第1 版中，因为没有明确区分条件误差率（以训练集为条件）和无条件误差率，所以第7 章关于误差率估计的讨论有些凑合。在新版中，我们已经修正这一问题。

? 第15章和第16章是从第10章自然发展而来的，读者最好能按这个顺序来阅读。

? 在第17章，我们没有试图涵盖图模型的全部内容，而是只讨论了无向图模型以及估计它们的一些新方法。具体来说，由于篇幅限制，我们在本书中忽略了与有向图模型相关的内容。

? 第18章探索了高维特征空间学习中的?? ? ?? 问题。这一问题在很多领域（如基因组、蛋白质组和文本分类）中都广泛存在。

我们感谢在第1 版中发现（大量）错误的众多读者。在新版本里，我们为那些错误表示歉意，并尽我们最大的努力来避免错误再次发生。我们感谢马克（Mark Segal）、巴拉（Bala Rajaratnam）和拉瑞（Larry Wasserman）对新增各章的内容提出建议，也感谢斯坦福的许多研究生和博士后提出的建议，尤其是默罕默德（Mohammed AlQuraishi）、约翰（John Boik）、霍尔格（Holger Hoefling）、阿瑞（Arian Maleki）、多拉尔（Donal McMahon）、撒哈荣（Saharon Rosset）、巴巴克（Babak Shababa）、丹尼尔拉（DanielaWitten）、朱奇（Ji Zhu）和邹辉（Hui Zou）。我们感谢约翰（John Kimmel），因为他耐心指导我们完成了新的版本。罗伯特（Robert Tibshirani）将此书献给安娜（Anna McPhee）。

特雷弗·哈斯蒂（Trevor Hastie）

罗伯特·提布施拉尼（Robert Tibshirani）

杰罗姆·弗雷曼（Jerome Friedman）

加州，斯坦福大学

2008 年8 月

简明

第1 章概述1

第2 章监督学习综述7

第3 章回归的线性方法7

第4 章分类的线性方法77

第5 章基展开与正则化方法105

第6 章核平滑方法143

第7 章模型的评估和选择165

第8 章模型的推断和平均197

第9 章加性模型、树和相关方法223

第10 章Boosting 和加性树255

第11 章神经网络293

第12 章支持向量机与柔性判别分析315

第13 章原型方法与最近邻347

第14 章非监督学习365

第15 章随机森林441

第16 章集成学习455

第17 章无向图模型471

第18 章高维问题：p?N 489

第1 章概述     1

1.1 示例1：垃圾邮件    1

1.2 示例2：前列腺癌    2

1.3 示例3：手写数字识别  2

1.4 示例4：DNA 表达微阵列  4

1.5 本书的读者群体      5

1.6 本书的组织      6

1.7 本书网站      6

1.8 给教师的建议    6

第2 章监督学习综述    7

2.1 概述     7

2.2 变量类型和术语      7

2.3 两个简单的预测方法：最小二乘和最近邻    8

2.3.1 线性模型和最小二乘  8

2.3.2 最近邻方法    11

2.3.3 从最小二乘到最近邻  12

2.4 统计决策理论      14

2.5 高维中的局部方法    17

2.6 统计模型、监督学习和函数逼近     21

2.6.1 联合分布Pr(??,??) 的统计模型   21

2.6.2 监督学习    22

2.6.3 函数逼近    22

2.7 结构化的回归模型    24

2.8 受限估计子的种类    26

2.8.1 粗糙度惩罚和贝叶斯方法     26

2.8.2 核方法和局部回归  26

2.8.3 基函数和词典方法  27

2.9 模型选择和偏差-方差折衷     28

文献说明     30

习题       30

第3 章回归的线性方法    33

3.1 概述   33

3.2 线性回归模型和最小二乘     33

3.2.1 示例：前列腺癌    38

3.2.2 高斯-马尔可夫定理  39

3.2.3 源自简单一元回归的多元回归   40

3.2.4 多元输出    43

3.3 子集选择      44

3.3.1 最佳子集选择    44

3.3.2 分步前向和分步反向选择     45

3.3.3 分阶段前向回归    46

3.3.4 示例：前列腺癌（续）      46

3.4 收缩方法      47

3.4.1 岭回归    48

3.4.2 Lasso 回归      52

3.4.3 讨论：子集选择、岭回归和Lasso 回归 . 54

3.4.4 最小角度回归    56

3.5 采用导出的输入方向的方法     60

3.5.1 主成分回归    60

3.5.2 偏最小二乘    61

3.6 讨论：选择和收缩方法的比较   62

3.7 多元输出的收缩和选择  63

3.8 关于Lasso 和相关路径算法的更多讨论 65

3.8.1 增量式分阶段前向回归     65

3.8.2 分段线性路径算法  67

3.8.3 Dantzig 选择算子  67

3.8.4 成组Lasso       68

3.8.5 Lasso 的进一步特性  69

3.8.6 逐路径坐标优化    70

3.9 计算考虑      71

文献说明     71

习题       71

第4 章分类的线性方法    77

4.1 概述   77

4.2 指示矩阵的线性回归  78

4.3 线性判别分析      82

4.3.1 正则判别分析    85

4.3.2 LDA 的计算    86

4.3.3 降秩线性判别分析  86

4.4 Logistic 回归    90

4.4.1 拟合Logistics 回归模型     90

4.4.2 示例：南非人的心脏病     92

4.4.3 二次逼近和推断    94

4.4.4 ??1 正则化Logistic 回归     95

4.4.5 Logistic 回归或LDA?   96

4.5 分离超平面    97

4.5.1 罗森布拉特的感知机学习算法   99

4.5.2 最优分离超平面  100

文献说明   102

习题     102

第5 章基展开与正则化方法  105

5.1 概述   105

5.2 分段多项式与样条  106

5.2.1 自然三次样条    109

5.2.2 示例：南非心脏病（续）      109

5.2.3 示例：音素识别  111

5.3 滤波与特征抽取    113

5.4 平滑样条      113

5.5 平滑参数的自动选取  118

5.5.1 固定自由度    118

5.5.2 偏差—方差折衷  119

5.6 非参Logistic 回归  121

5.7 多维样条      122

5.8 正则化与再生核希尔伯特空间   126

5.8.1 核生成的函数空间  126

5.8.2 RKHS 的例子    126

5.9 小波平滑      131

5.9.1 小波基与小波变换  133

5.9.2 自适应小波滤波  135

文献说明   137

习题     137

附加内容：样条的计算    140

?? 样条   140

平滑样条的计算      142

第6 章核平滑方法    143

6.1 一维核平滑方法    143

6.1.1 局部线性回归    145

6.1.2 局部多项式回归  147

6.2 选择核宽度    149

6.3 R?? 上的局部回归    150

6.4 R?? 上特征结构化局部回归     152

6.4.1 结构化的核函数  152

6.4.2 结构化的回归函数  152

6.5 局部似然与其他模型  153

6.6 核密度估计与分类  156

6.6.1 核密度估计    156

6.6.2 核密度分类    157

6.6.3 朴素贝叶斯分类器  158

6.7 径向基函数与核    159

6.8 密度估计与分类的混合模型   161

6.9 计算细节      162

文献说明   163

习题     163

第7 章模型的评估和选择    165

7.1 概述   165

7.2 偏差、方差与模型复杂性     165

7.3 偏差-方差分解    168

7.4 训练错误率的乐观估计  171

7.5 样本内预测错误的估计  173

7.6 参数的有效个数    175

7.7 贝叶斯方法和BIC   175

7.8 最小描述长度    177

7.9 Vapnik-Chernovenkis 维数     178

7.10 交叉验证    182

7.10.1 ?? 折交叉验证    182

7.10.2 交叉验证的错误和正确做法   185

7.10.3 交叉验证有效吗？   186

7.11 自举法      188

7.12 条件还是期望测试误差？      191

文献说明   193

习题     194

第8 章模型的推断和平均    197

8.1 概述   197

8.2 Bootstrap 和最大似然方法     197

8.2.1 一个光滑的示例  197

8.2.2 最大似然推断    199

8.2.3 Bootstrap 与最大似然  201

8.3 贝叶斯方法    202

8.4 Bootstrap 和贝叶斯推断的联系   204

8.5 EM 算法      205

8.5.1 两分量混合模型  205

8.5.2 通用EM 算法    208

8.5.3 作为最大化－最大化过程的EM    209

8.6 MCMC 用于从后验中采样     210

8.7 Bagging       213

8.8 模型平均和Stacking   217

8.9 随机搜索：Bumping   219

文献说明   220

习题     221

第9 章加性模型、树和相关方法     223

9.1 广义加性模型    223

9.1.1 拟合加性模型    224

9.1.2 示例：加性Logistics 回归     226

9.1.3 示例：预测垃圾电子邮件     227

9.1.4 小结      229

9.2 基于树的方法    230

9.2.1 背景      230

9.2.2 回归树    231

9.2.3 分类树    233

9.2.4 其他问题      234

9.2.5 示例：垃圾邮件(续)   236

9.3 PRIM：凸块搜索    240

9.4 MARS：多元自适应回归样条   243

9.4.1 示例：垃圾邮件（续）      246

9.4.2 示例：模拟数据  247

9.4.3 其他问题      248

9.5 层次专家混合    248

9.6 缺失数据      251

9.7 计算考虑      252

文献说明   252

习题     253

第10 章Boosting 和加性树  255

10.1 Boosting 方法    255

10.2 Boosting 拟合加性模型     258

10.3 前向分阶段加性建模  258

10.4 指数损失和AdaBoost   259

10.5 为什么要用指数损失  261

10.6 损失函数和鲁棒性  262

10.6.1 用于分类的鲁棒损失函数   262

10.6.2 回归的鲁棒损失函数     264

10.7 数据挖掘的“现成”过程     265

10.8 示例：垃圾邮件数据  266

10.9 Boosting 树    268

10.10 通过梯度Boosting 的数值优化   270

10.10.1 最速下降    270

10.10.2 梯度Boosting   271

10.10.3 梯度Boosting 的执行     272

10.11 Boosting 合适大小的树     273

10.12 正则化      275

10.12.1 收缩    275

10.12.2 子采样      276

10.13 解释      277

10.13.1 预测变量的相对重要性     277

10.13.2 部分相关性图  278

10.14 实例      280

10.14.1 加州住房    280

10.14.2 新西兰黑鲂鱼  283

10.14.3 人口统计数据  287

文献说明   289

习题     290

第11 章神经网络    293

11.1 概述      293

11.2 投影寻踪回归    293

11.3 神经网络    295

11.4 拟合神经网络    297

11.5 神经网络训练中的一些问题   299

11.5.1 初始值    299

11.5.2 过拟合    299

11.5.3 输入数据的尺度  301

11.5.4 隐层是神经网络的学术语   301

11.5.5 多个极小值    301

11.6 示例：仿真数据    301

11.7 示例：邮政编码数据  303

11.8 讨论      307

11.9 贝叶斯神经网络和NIPS 2003 挑战   307

11.9.1 贝叶斯，Boosting 和Bagging      308

11.9.2 性能比较    309

11.10 计算问题    311

文献说明   312

习题     312

第12 章支持向量机与柔性判别分析   315

12.1 概述      315

12.2 支持向量机分类器  315

12.2.1 支持向量分类器的计算     317

12.2.2 示例：混合模型（续）      318

12.3 支持向量机与核    319

12.3.1 计算分类的SVM   320

12.3.2 作为罚方法的SVM   322

12.3.3 函数估计和重建核  323

12.3.4 SVM 和维数灾难  325

12.3.5 SVM 分类器的路径算法     326

12.3.6 用于回归支持向量机     328

12.3.7 回归与核    329

12.3.8 讨论    330

12.4 线性判别分析泛化  331

12.5 柔性判别分析    332

12.6 罚判别分析      337

12.7 混合判别分析    339

文献说明   343

习题     344

第13 章原型方法与最近邻  347

13.1 概述      347

13.2 原型方法    347

13.2.1 ??-均值聚类    347

13.2.2 向量量化学习  348

13.2.3 混合高斯    349

13.3 ??-近邻分类器    350

13.3.1 示例：一个比较性研究     352

13.3.2 示例：??-近邻和图像场景分类   353

13.3.3 不变度量和切距离  355

13.4 自适应最近邻方法  357

13.4.1 示例    360

13.4.2 最近邻的全局维数约简     361

13.5 计算考虑    361

文献说明   362

习题     362

第14 章非监督学习    365

14.1 概述      365

14.2 关联规则    366

14.2.1 购物车分析    367

14.2.2 Apriori 算法    368

14.2.3 示例：购物车分析  370

14.2.4 非监督作为监督学习     372

14.2.5 广义关联规则  374

14.2.6 监督学习方法的选择     375

14.2.7 示例：购物车分析（续）    376

14.3 聚类分析    377

14.3.1 邻接矩阵    378

14.3.2 基于属性的不相似性     379

14.3.3 目标不相似性  380

14.3.4 聚类算法    382

14.3.5 组合算法    382

14.3.6 ??-均值算法    383

14.3.7 作为软??-均值聚类的高斯混合   385

14.3.8 示例：人类癌症微阵列数据   385

14.3.9 向量量化    387

14.3.10 ??-中心点    388

14.3.11 实际问题    390

14.3.12 层次聚类    391

14.3.13 聚合聚类    394

14.4 自组织映射      398

14.5 主成分、主曲线和主曲面     402

14.5.1 主成分    402

14.5.2 主曲线和主曲面  407

14.5.3 谱聚类    409

14.5.4 核主成分    411

14.6 非负矩阵分解    415

14.7 独立分量分析和探测式投影寻踪   419

14.7.1 隐变量和因子分析  419

14.7.2 独立分量分析  421

14.7.3 探测式投影寻踪  425

14.7.4 ICA 的直接方法  425

14.8 多维尺度    428

14.9 非线性维数约简和局部多维尺度   430

14.10 谷歌的PageRank 算法     432

文献说明   434

习题     435

第15 章随机森林    441

15.1 概述      441

15.2 随机森林的定义    441

15.3 随机森林的细节    444

15.3.1 包外样本    445

15.3.2 变量重要性    445

15.3.3 邻近图    446

15.3.4 随机森林与过拟合  447

15.4 分析随机森林    449

15.4.1 变量与去相关影响  449

15.4.2 偏差    451

15.4.3 自适应最近邻  451

文献说明   452

习题     452

第16 章集成学习    455

16.1 概述      455

16.2 Boosting 与正则化路径     456

16.2.1 惩罚式回归    456

16.2.2 “押稀疏”原则  459

16.2.3 正则化路径，过拟合与边缘   461

16.3 集成学习    463

16.3.1 学习一个好的集成  464

16.3.2 规则集成    466

文献说明   468

习题     468

第17 章无向图模型    471

17.1 概述      471

17.2 马尔可夫图及其性质  472

17.3 连续变量的无向图模型     474

17.3.1 当图结构已知时的参数估计   475

17.3.2 图结构的估计  478

17.4 离散变量的无向图模型     481

17.4.1 图结构已知时参数的估计   481

17.4.2 隐节点    482

17.4.3 图结构的估计  484

17.4.4 受限玻尔兹曼机  484

文献说明   486

习题     486

第18 章高维问题：p?N   489

18.1 ?? 远大于?? 的情形  489

18.2 对角线性判别分析与最近收缩质心   490

18.3 二次正则化的线性分类器     494

18.3.1 正则化判别分析  494

18.3.2 二次正则化的Logistic 回归   495

18.3.3 支持向量分类器  495

18.3.4 特征选择    496

18.3.5 ?? ? ?? 时的计算捷径     496

18.4 ??1 正则化的线性分类器     498

18.4.1 Lasso 在蛋白质质谱仪中的应用   500

18.4.2 函数型数据的融合Lasso      502

18.5 特征无法获取时的分类     502

18.5.1 示例：字符串核以及蛋白质分类   504

18.5.2 使用内积核以及成对距离的分类和其他模型  505

18.5.3 示例：摘要分类  507

18.6 高维回归：有监督主成分     508

18.6.1 与隐变量模型的关联     511

18.6.2 与偏最小二乘的关联     512

18.6.3 特征选择的预条件处理     514

18.7 特征评估和多重检验问题     515

18.7.1 错误发现率    517

18.7.2 非对称割点和SAM 过程     520

18.7.3 FDR 的贝叶斯解释  521

文献说明   522

习题     522

参考文献     527

关键名词和术语中英文对照    543

《统计学习要素：机器学习中的数据挖掘、推断与预测(第2版)》包含人工智能中用到的许多代表性主题，比如图模型、随机森林、集成方法、Lasso最小角度回归和路径算法、非负矩阵分解和频谱聚类。此外，还用一章篇幅来介绍“宽”数据（p大于n）的方法，包括多次测试和误检率。

对统计领域、人工智能领域及相关科学或行业领域内的读者而言，《统计学习要素：机器学习中的数据挖掘、推断与预测(第2版)》是一个难得的宝库，涉及面很广，从监督学习（预测）到无监督学习，具体主题包括神经网络、支持向量机、分类树和Boosting（率先对该主题进行综合论述）。与此同时，书中还包含丰富的示例和大量彩色的图表。

作者简介

斯坦福大学统计学教授。三人是该领域的杰出研究人员。哈斯蒂在新泽西州的AT＆T贝尔实验室以技术人员身份工作9年之后，于1994年8月加入斯坦福大学任教。哈斯蒂用S-PLUS写了许多统计建模软件，并发明了主要曲线和曲面。他和提布施拉尼共同开发了广义加性模型并写了这一主题的热门书。提布施拉尼提出了Lasso，参与创作了《Bootstrap概论》，这本书取得了相当大的成功。弗雷曼是许多数据挖掘工具的共同发明人，包括CART、MARS、投影追踪和梯度Boosting。

译者简介

张军平

复旦大学计算机科学技术学院教授，博导，主要研究方向是人工智能、机器学习、生物认证和智能交通。曾经主持多个国家级项目。他是人工智能著名期刊 IEEE Intelligent Systems 编委，担任《软件学报》和《自动化学报》等国内权威期刊责任编辑。他是中国自动化学会混合智能专业委员会副主任。他在人工智能及相关专业领域发表了100余篇论文，包括 IEEE TPAMI，TNNLS，ToC，TAC和TITS等期刊以及ICML, AAAI和 ECCV等国际会议上。他的人工智能科普畅销书《爱犯错的智能体》荣获了2019年中国自动化学会科普奖。2020年中国科普作家协会第六届优秀作品奖（中国科普创作领域最高奖）金奖以及2020年第十届吴文俊人工智能科技进步奖（科普项目）。