贝叶斯统计导论"
本书全面、系统地介绍贝叶斯统计的基本概念和方法，正文共20章，另有5个附录。每章配有分析和编程两类习题，以培养读者的理论水平和动手能力。本书的目标读者包括本科生、研究生、相关领域研究人员及工程技术人员等。本书可以作为数学、计算机、自动化、经济、管理等相关学科的教材。
我们写本书的初衷是要尽早地向数学背景较好的学生介绍贝叶斯统计。本书所涉及的范围与统计学入门课本相类似 ,只不过是从贝叶斯的观点来阐述。本书的重点是统计推断：我们想要说明如何用贝叶斯方法进行推断 ,贝叶斯方法为什么比频率论的方法好。本书旨在成为学习贝叶斯统计的启蒙教材。第 1章至第 14章包含这部分的内容。我们收到了许多读者的正面评价,相信本书的目标已经达到。
我们得到的反馈还表明 ,很多读者在开始学习本书时是处于中级水平而不是最初设想的入门水平,对这些读者来说第 2章和第 3章的内容有些过时,所以我们加入一些更高级的材料以迎合这个群体的需要。第 2版在达到初始目标之余需要更进一步 ,我们纳入了更多的模型 ,主要是单变量模型。我们还用近似法处理冗余参数 ,第 4章至第 16章包含这部分内容。
第 3版的变化
后来的反馈表明 ,具有较强数学和统计学背景的读者希望本书有更多关于多参数模型的细节 ,为此我们在第 3版新增了 4章,同时重写了已有的部分章节。第 17章包括均值与方差均未知的正态观测的贝叶斯推断 ,这一章扩展了第 11章的思路 ,还讨论了两个样本的情况 ,从而让读者考虑基于均值差的推断。为了在第 19章中讨论多元线性回归 ,我们在第 18章介绍了多元正态分布。最后 ,第 20章让读者超越本书大部分章节所考虑的共轭分析的范畴 ,进入计算贝叶斯推断的王国。第 20章对所涉及的话题只是点到为止,但还是为用户提供了处理不同问题的有价值的信息和技巧。我们选了一些新的习题以及使用 Minitab宏和 R函数的计算机练习 ,从本书的网址 http://introbayes.ac.nz可以下载 Minitab宏。经过改进的新版 R包 Bolstad已纳入新的 R函数 ,这个版本可以从 CRAN镜像下载或在 R中利用互联网直接安装。附录 C和附录 D分别是 Minitab包和 R包 Bolstad的使用与安装说明 ,为适应自第 2版以来 R和 Minitab的变化 ,我们重写了这两个附录。
我们对贝叶斯统计的看法
一本书的特色在于它在内容上的取舍 ,我们试图在本书中说明贝叶斯统计是一个好的统计推断方法。超出本书范围的细节在脚注中说明。我们选择主题的一些理由如下。
IV
在讨论贝叶斯统计时我们并没有提及决策论或损失函数。在很多书中 ,贝叶斯统计被划分到决策论中 ,同时以频率论的方式讲解推断。决策论本身是个有趣的话题 ,但我们要介绍的是贝叶斯统计推断而不想偏离正轨。
我们认为 ,为了充分利用贝叶斯统计 ,必须考虑到所有的先验都是主观的 ,它们要么是 (1)你的信念的总结 ,要么是 (2)你最初允许自己相信的一切的总结。我们认为主观先验是在看到数据之前赋予每个可能的参数值的相对权重 ,即使采用平坦先验让所有可能的值有相等的先验权重 ,因为它是由我们选择的 ,所以也是主观的。无论如何 ,它仅在该参数化中让所有的值具有相等的权重 ,所以只在这种情况下可以认为它是“客观的”。我们不希望本书详细讨论在贝叶斯统计中要力求客观的问题。因为不想分散读者的注意力,但会在脚注中解释为什么不可能有普遍的客观性 ,我们想让读者了解在参数化中先验的“相对权重”的思路。
叫1
第 1版没有明确提及杰佛瑞先验 ,尽管二项的贝塔先验 Be2 , 12）和正态均值的平坦先验分别就是这些观测分布的杰佛瑞先验。第 2版提及二项、泊松、正态均值和正态标准差的杰佛瑞先验。第 3版提及正态均值和标准差的独立杰佛瑞先验。我们尤其不想让读者在有关杰佛瑞先验的问题上纠缠 ,如均值和方差合在一起的杰佛瑞先验 ,因为它与独立杰佛瑞先验相反 ;或者杰佛瑞先验违反似然原理的问题 ,这些都超出了我们希望的知识水平。读者只需要知道在这些情况下杰佛瑞先验也可以作为先验 ,知道它赋予的相对权重应该在何时用以及如何用。所有的参数化在数学上都同等有效 ;不过通常只有主要的那一个才有意义 ,我们希望读者聚焦在作为先验的参数化的相对权重。它应该是 (1)先验信念的概括 (与矩或中位数的先验信念匹配的共轭先验), (2)参数化的平坦先验,或者 (3)在整个取值范围上具有合理权重的其他一些形式。对于在整个取值范围内能合理分配权重的所有先验而言,所得的后验会是相似的。
若均值为已知的参数 ,我们可以对正态分布的标准差进行贝叶斯推断。方差的共轭先验是逆卡方分布 ,虽然是将贝叶斯定理用在方差上 ,但对我们来说标准差更直观 ,因此需要引入先验密度的换元公式。
在第 2版中 ,我们假设均值为已知参数 ,因此没有考虑均值和标准差均未知这种在数学上更复杂的情况 ,第 3版的第 17章阐述了这种情况下的贝叶斯推断。在前两版中 ,当通过数据估计方差时 ,需要用学生 t分布来调整均值的可信区间 ,而在第 3版的第 17章中 ,我们证明它其实就是在得到后验并通过边缘化消去方差之后所得的结果。第 17章还包括对两个均值的差的推断 ,若不再假设两个总体的方差相同 ,问题会变得相当困难。对于方差不同的两个总体的均值差 ,第 17章推导出著名的 Behrens-Fisher问题的贝叶斯解。本书的 R包中的 bayes.t.test函数实际上为用户提供了利用 Gibbs采样的数值解。新版中的第 20章介绍了 Gibbs采样。
致谢
威廉感谢读者的批评指正 ,已对前两版中的印刷错误做了修改。威廉还要感谢 Minitab的 Cathy Akritas和 Gonzalo Ovalles帮助改进 Minitab宏。威廉和詹姆斯感谢
V
Jon Gurstelle, Steve Quigley, Sari Friedman, Allison McGinniss以及 John Wiley & Sons团队的支持。最后,威廉要感谢妻子 Sylvie对他的永恒的爱与支持。
威廉·M.鲍尔斯塔德新西兰哈密尔顿
詹姆斯·M.柯伦新西兰奥克兰
第 1章统计学绪论 ..............................................................................................1
1.1科学方法：学习的过程 ..............................................................................2
1.2统计在科学方法中的角色 ..........................................................................3
1.3统计的主要方法 .......................................................................................3
1.4本书的目的和结构 ....................................................................................5
本章要点 .........................................................................................................7
第 2章科学数据收集 ...........................................................................................9
2.1从真实的总体中抽样 ................................................................................9
2.2观察研究与设计性实验 ........................................................................... 12
本章要点 ....................................................................................................... 14
蒙特卡罗练习 ................................................................................................ 15
第 3章数据的展示与汇总 .................................................................................. 20
3.1单变量的图形展示 .................................................................................. 20
3.2两个样本的图形比较 .............................................................................. 26
3.3位置度量 ............................................................................................... 28
3.4离差度量 ............................................................................................... 30
3.5展示两个或多个变量之间的关系 .............................................................. 31
3.6两个或多个变量关联的度量 .................................................................... 33
本章要点 ....................................................................................................... 34
习题 ............................................................................................................. 36
第 4章逻辑、概率与不确定性 ............................................................................ 40
4.1演绎逻辑与似然推理 .............................................................................. 40
4.2概率 ...................................................................................................... 41
4.3概率公理 ............................................................................................... 43
4.4联合概率与独立事件 .............................................................................. 43
4.5条件概率 ............................................................................................... 44
4.6贝叶斯定理 ............................................................................................ 45
4.7概率的分配 ............................................................................................ 49
4.8几率与贝叶斯因子 .................................................................................. 50
4.9击败庄家 ............................................................................................... 51
本章要点 ....................................................................................................... 52
习题 ............................................................................................................. 54
第 5章离散随机变量 ......................................................................................... 56
5.1离散随机变量的定义及示例 .................................................................... 56
5.2离散随机变量的概率分布 ........................................................................ 58
5.3二项分布 ............................................................................................... 60
5.4超几何分布 ............................................................................................ 62
5.5泊松分布 ............................................................................................... 63
5.6联合随机变量 ........................................................................................ 65
5.7联合随机变量的条件概率 ........................................................................ 68
本章要点 ....................................................................................................... 70
习题 ............................................................................................................. 71
第 6章离散随机变量的贝叶斯推断 ..................................................................... 75
6.1贝叶斯定理的两种等价用法 .................................................................... 78
6.2具有离散先验的二项分布的贝叶斯定理 .................................................... 81
6.3贝叶斯定理的重要结果 ........................................................................... 83
6.4具有离散先验的泊松分布的贝叶斯定理 .................................................... 84
本章要点 ....................................................................................................... 85
习题 ............................................................................................................. 85
计算机习题 ................................................................................................... 88
第 7章连续随机变量 ......................................................................................... 91
7.1概率密度函数 ........................................................................................ 93
7.2连续分布 ............................................................................................... 95
7.3联合的连续随机变量 ............................................................................ 101
7.4联合的连续和离散随机变量 .................................................................. 102
本章要点 ..................................................................................................... 103
习题 ........................................................................................................... 104
第 8章二项比例的贝叶斯推断 .......................................................................... 106
8.1使用均匀先验 ...................................................................................... 107
8.2使用贝塔先验 ...................................................................................... 107
8.3先验的选择 .......................................................................................... 109
8.4后验分布概要 ...................................................................................... 113
8.5比例的估计 .......................................................................................... 115
8.6贝叶斯可信区间 ................................................................................... 115
本章要点 ..................................................................................................... 117
习题 ........................................................................................................... 117
计算机习题 ................................................................................................. 119
第 9章比例的贝叶斯推断与频率论推断的比较 .................................................. 121
9.1概率与参数的频率论解释 ...................................................................... 121
9.2点估计 ................................................................................................ 122
9.3比例估计量的比较 ................................................................................ 124
9.4区间估计 ............................................................................................. 125
9.5假设检验 ............................................................................................. 127
9.6单边假设检验 ...................................................................................... 128
9.7双边假设检验 ...................................................................................... 130
本章要点 ..................................................................................................... 132
习题 ........................................................................................................... 133
蒙特卡罗练习 .............................................................................................. 135
第 10章泊松参数的贝叶斯推断 ........................................................................ 137
10.1泊松参数的一些先验分布 .................................................................... 138
10.2泊松参数的推断 ................................................................................. 142
本章要点 ..................................................................................................... 146
习题 ........................................................................................................... 146
计算机习题 ................................................................................................. 147
第 11章正态均值的贝叶斯推断 ........................................................................ 150
11.1具有离散先验的正态均值的贝叶斯定理 ................................................ 150
11.2具有连续先验的正态均值的贝叶斯定理 ................................................ 155
11.3正态先验的选择 ................................................................................. 158
11.4正态均值的贝叶斯可信区间 ................................................................. 160
11.5下一个观测的预测密度 ....................................................................... 162
本章要点 ..................................................................................................... 164
习题 ........................................................................................................... 164
计算机习题 ................................................................................................. 166
第 12章均值的贝叶斯推断与频率论推断的比较 ................................................ 169
12.1频率论点估计与贝叶斯点估计的比较 ................................................... 169
12.2均值的置信区间和可信区间的比较 ....................................................... 171
12.3关于正态均值的单边假设检验 ............................................................. 173
12.4关于正态均值的双边假设检验 ............................................................. 176
本章要点 ..................................................................................................... 178
习题 ........................................................................................................... 179
第 13章均值差的贝叶斯推断 ........................................................................... 181
13.1两个正态分布的独立随机样本 ............................................................. 181
13.2情况 1：方差相等 ................................................................................ 182
13.3情况 2：方差不等 ................................................................................ 185
13.4利用正态近似的比例差的贝叶斯推断 ................................................... 187
13.5配对实验的正态随机样本 .................................................................... 189
本章要点 ..................................................................................................... 192
习题 ........................................................................................................... 193
第 14章简单线性回归的贝叶斯推断 ................................................................. 200
14.1最小二乘回归 ..................................................................................... 201
14.2指数增长模型 ..................................................................................... 204
14.3简单线性回归的假定 ........................................................................... 206
14.4回归模型的贝叶斯定理 ....................................................................... 207
14.5未来观测的预测分布 ........................................................................... 212
本章要点 ..................................................................................................... 215
习题 ........................................................................................................... 216
计算机习题 ................................................................................................. 220
第 15章标准差的贝叶斯推断 ........................................................................... 222
15.1具有连续先验的正态方差的贝叶斯定理 ................................................ 222
15.2一些具体的先验分布及所得后验 .......................................................... 224
15.3正态标准差的贝叶斯推断 .................................................................... 230
本章要点 ..................................................................................................... 233
习题 ........................................................................................................... 234
计算机习题 ................................................................................................. 236
第 16章稳健贝叶斯方法 .................................................................................. 238
16.1错置先验的影响 ................................................................................. 238
16.2混合先验的贝叶斯定理 ....................................................................... 240
总结 ........................................................................................................... 245
本章要点 ..................................................................................................... 246
习题 ........................................................................................................... 247
计算机习题 ................................................................................................. 248
第 17章均值与方差未知的正态贝叶斯推断 ....................................................... 250
17.1联合似然函数 ..................................................................................... 251
17.2利用 μ和 σ2的独立杰佛瑞先验的后验 ................................................. 252
17.3利用 μ和 σ2的联合共轭先验的后验 .................................................... 254
17.4方差未知但相等的正态均值差 ............................................................. 259
17.5方差不等且未知的正态均值差 ............................................................. 265
本章要点 ..................................................................................................... 268
计算机习题 ................................................................................................. 270
17.6附录：μ的准确边缘后验分布是 t分布的证明 ....................................... 272
第 18章多元正态均值向量的贝叶斯推断 .......................................................... 277
18.1二元正态密度 ..................................................................................... 277
18.2多元正态分布 ..................................................................................... 280
18.3协方差矩阵已知的多元正态均值向量的后验分布 ................................... 281
18.4协方差矩阵已知的多元正态均值向量的可信区域 ................................... 283
18.5协方差矩阵未知的多元正态分布 .......................................................... 284
本章要点 ..................................................................................................... 287
计算机习题 ................................................................................................. 288
第 19章多元线性回归模型的贝叶斯推断 .......................................................... 291
19.1多元线性回归模型的最小二乘回归 ....................................................... 291
19.2多元正态线性回归模型的假定 ............................................................. 292
19.3多元正态线性回归模型的贝叶斯定理 ................................................... 293
19.4多元正态线性回归模型的推断 ............................................................. 296
19.5未来观测的预测分布 ........................................................................... 302
本章要点 ..................................................................................................... 304
计算机习题 ................................................................................................. 304
第 20章马尔可夫链蒙特卡罗与计算贝叶斯统计 ................................................ 306
20.1从后验抽样的直接方法 ....................................................................... 309
20.2抽样—重要性—再抽样 ....................................................................... 319
20.3马尔可夫链蒙特卡罗方法 .................................................................... 322
20.4切片抽样 ........................................................................................... 334
20.5来自后验随机样本的推断 .................................................................... 336
20.6后续的内容 ........................................................................................ 338
附录 A微积分概论 .......................................................................................... 339
附录 B统计表的用法 ....................................................................................... 353
附录 C Minitab宏的用法 ............................................................................... 374
附录 DR函数的用法 ...................................................................................... 389
附录 E精选习题答案 ........................................................................................ 405
参考文献 ............................................................................................................ 423
索引 ................................................................................................................... 426
本书系统全面地讨论了贝叶斯统计的各种方法，其英文版已是第3版，一直畅销并广受读者好评。对读者而言，本书简单易懂，富有启发性，内容丰富。每章中的分析和编程两类习题有助于读者对内容的理解和方法的掌握。本书可以作为本科生和研究生的统计学习的教材，对工程、管理等领域的研究人员，本书也具有很高的参考价值。
陈曦，清华大学自动化系，副研究员。长期从事随机控制与优化，无线传感器网络的研究。在本领域著名国际期刊发表学术论文多篇。2009年获国家自然科学二等奖（“离散事件动态系统的理论与方法”，第三完成人）。应邀担任多个国际著名期刊及会议的评审人。翻译、出版教材多部。
