第1部分　聊聊概率这件事 第1章　概率的定义　　3 1.1　概率的数学定义　　3 1.2　三扇门（蒙提霍尔问题） ——飞艇视角　　4 1.2.1　蒙提霍尔问题　　5 1.2.2　正确答案与常见错误　　6 1.2.3　以飞艇视角表述　　6 1.3　三元组（Ω, F, P） ——上帝视角　　9 1.4　随机变量　　13 1.5　概率分布　　17 1.6　适于实际使用的简记方式　　19 1.6.1　随机变量的表示方法　　19 1.6.2　概率的表示方法　　20 1.7　Ω是幕后角色　　21 1.7.1　不必在意Ω究竟是什么　　21 1.7.2　Ω的习惯处理方式　　22 1.7.3　不含Ω（不含上帝视角）的概率论　　23 1.8　一些注意事项　　23 1.8.1　想做什么　　23 1.8.2　因为是面积……　　24 1.8.3　解释　　26 第2章　多个随机变量之间的关系　　29 2.1　各县的土地使用情况（面积计算的预热）　　29 2.1.1　不同县、不同用途的统计（联合概率与边缘概率的预热）　　30 2.1.2　特定县、特定用途的比例（条件概率的预热）　　31 2.1.3　倒推比例（贝叶斯公式的预热）　　32 2.1.4　比例相同的情况（独立性的预热）　　34 2.1.5　预热结束　　38 2.2　联合概率与边缘概率　　38 2.2.1　两个随机变量　　38 2.2.2　三个随机变量　　41 2.3　条件概率　　42 2.3.1　条件概率的定义　　42 2.3.2　联合分布、边缘分布与条件分布的关系　　45 2.3.3　即使条件中使用的不是等号也一样适用　　50 2.3.4　三个或更多的随机变量　　51 2.4　贝叶斯公式　　55 2.4.1　问题设置　　56 2.4.2　贝叶斯的作图曲　　57 2.4.3　贝叶斯公式　　61 2.5　独立性　　63 2.5.1　事件的独立性（定义）　　64 2.5.2　事件的独立性（等价表述）　　67 2.5.3　随机变量的独立性　　70 2.5.4　三个或更多随机变量的独立性（需多加注意）　　73 第3章　离散值的概率分布　　79 3.1　一些简单的例子　　79 3.2　二项分布　　82 3.2.1　二项分布的推导　　82 3.2.2　补充：排列nPk、组合nCk　　83 3.3　期望值　　85 3.3.1　期望值的定义　　85 3.3.2　期望值的基本性质　　87 3.3.3　期望值乘法运算的注意事项　　91 3.3.4　期望值不存在的情况　　93 3.4　方差与标准差　　99 3.4.1　即使期望值相同　　99 3.4.2　方差即“期望值离散程度”的期望值　　100 3.4.3　标准差　　102 3.4.4　常量的加法、乘法及标准化　　104 3.4.5　各项独立时，和的方差等于方差的和　　108 3.4.6　平方的期望值与方差　　110 3.5　大数定律　　112 3.5.1　独立同分布　　114 3.5.2　平均值的期望值与平均值的方差　　116 3.5.3　大数定律　　117 3.5.4　大数定律的相关注意事项　　118 3.6　补充内容：条件期望与最小二乘法　　120 3.6.1　条件期望的定义　　120 3.6.2　最小二乘法　　121 3.6.3　上帝视角　　122 3.6.4　条件方差　　123 第4章　连续值的概率分布　　127 4.1　渐变色打印问题（密度计算的预热）　　128 4.1.1　用图表描述油墨的消耗量（累积分布函数的预热）　　128 4.1.2　用图表描述油墨的打印浓度（概率密度函数预热）　　129 4.1.3　拉伸打印成品对油墨浓度的影响（变量变换的预热）　　133 4.2　概率为零的情况　　136 4.2.1　出现概率恰好为零的情况　　137 4.2.2　概率为零将带来什么问题　　139 4.3　概率密度函数　　140 4.3.1　概率密度函数　　140 4.3.2　均匀分布　　146 4.3.3　概率密度函数的变量变换　　147 4.4　联合分布·边缘分布·条件分布　　152 4.4.1　联合分布　　152 4.4.2　本小节之后的阅读方式　　155 4.4.3　边缘分布　　155 4.4.4　条件分布　　159 4.4.5　贝叶斯公式　　162 4.4.6　独立性　　163 4.4.7　任意区域的概率·均匀分布·变量变换　　166 4.4.8　实数值与离散值混合存在的情况　　174 4.5　期望值、方差与标准差　　174 4.5.1　期望值　　175 4.5.2　方差·标准差　　179 4.6　正态分布与中心极限定理　　180 4.6.1　标准正态分布　　181 4.6.2　一般正态分布　　184 4.6.3　中心极限定理　　187 第5章　协方差矩阵、多元正态分布与椭圆　　195 5.1　协方差与相关系数　　196 5.1.1　协方差　　196 5.1.2　协方差的性质　　199 5.1.3　分布倾向的明显程度与相关系数　　200 5.1.4　协方差与相关系数的局限性　　206 5.2　协方差矩阵　　208 5.2.1　协方差矩阵=方差与协方差的一览表　　208 5.2.2　协方差矩阵的向量形式表述　　209 5.2.3　向量与矩阵的运算及期望值　　212 5.2.4　向量值随机变量的补充说明　　215 5.2.5　协方差矩阵的变量变换　　217 5.2.6　任意方向的发散程度　　218 5.3　多元正态分布　　220 5.3.1　多元标准正态分布　　220 5.3.2　多元一般正态分布　　223 5.3.3　多元正态分布的概率密度函数　　228 5.3.4　多元正态分布的性质　　230 5.3.5　截面与投影　　232 5.3.6　补充知识：卡方分布　　239 5.4　协方差矩阵与椭圆的关系　　242 5.4.1　（实例一）单位矩阵与圆　　242 5.4.2　（实例二）对角矩阵与椭圆　　244 5.4.3　（实例三）一般矩阵与倾斜的椭圆　　247 5.4.4　协方差矩阵的局限性　　251 第2部分　探讨概率的应用 第6章　估计与检验　　257 6.1　估计理论　　257 6.1.1　描述统计与推断统计　　257 6.1.2　描述统计　　258 6.1.3　如何理解推断统计中的一些概念　　260 6.1.4　问题设定　　264 6.1.5　期望罚款金额　　265 6.1.6　多目标优化　　266 6.1.7　（策略一）减少候选项——最小方差无偏估计　　267 6.1.8　（策略二）弱化最优定义——最大似然估计　　269 6.1.9　（策略三）以单一数值作为评价基准——贝叶斯估计　　272 6.1.10　策略选择的相关注意事项　　275 6.2　检验理论　　276 6.2.1　检验理论中的逻辑　　276 6.2.2　检验理论概述　　278 6.2.3　简单假设　　279 6.2.4　复合假设　　282 第7章　伪随机数　　285 7.1　伪随机数的基础知识　　285 7.1.1　随机数序列　　285 7.1.2　伪随机数序列　　286 7.1.3　典型应用：蒙特卡罗方法　　287 7.1.4　相关主题：密码理论中的伪随机数序列·低差异序列　　289 7.2　遵从特定分布的随机数的生成　　291 7.2.1　遵从离散值分布的随机数的生成　　292 7.2.2　遵从连续值分布的随机数的生成　　293 7.2.3　遵从正态分布的随机数的生成　　296 7.2.4　补充知识：三角形内及球面上的均匀分布　　298 第8章　概率论的各类应用　　305 8.1　回归分析与多变量分析　　305 8.1.1　通过最小二乘法拟合直线　　305 8.1.2　主成分分析　　312 8.2　随机过程　　319 8.2.1　随机游走　　321 8.2.2　卡尔曼滤波器　　326 8.2.3　马尔可夫链　　331 8.2.4　关于随机过程的一些补充说明　　342 8.3　信息论　　343 8.3.1　熵　　343 8.3.2　二元熵　　347 8.3.3　信源编码　　349 8.3.4　信道编码　　352 附录A　本书涉及的数学基础知识　　359 A.1　希腊字母　　359 A.2　数　　359 A.2.1　自然数·整数　　359 A.2.2　有理数·实数　　359 A.2.3　复数　　360 A.3　集合　　360 A.3.1　集合的表述方式　　360 A.3.2　无限集的大小　　361 A.3.3　强化练习　　361 A.4　求和符号∑　　362 A.4.1　定义与基本性质　　362 A.4.2　双重求和　　364 A.4.3　范围指定　　366 A.4.4　等比数列　　366 A.5　指数与对数　　368 A.5.1　指数函数　　368 A.5.2　高斯积分　　371 A.5.3　对数函数　　374 A.6　内积与长度　　377 附录B　近似公式与不等式　　381 B.1　斯特林公式　　381 B.2　琴生不等式　　381 B.3　吉布斯不等式　　384 B.4　马尔可夫不等式与切比雪夫不等式　　385 B.5　切尔诺夫界　　386 B.6　闵可夫斯基不等式与赫尔德不等式　　387 B.7　算术平均值≥ 几何平均值≥ 调和平均值　　390 附录C　概率论的补充知识　　393 C.1　随机变量的收敛　　393 C.1.1　依概率1收敛　　393 C.1.2　依概率收敛　　395 C.1.3　均方收敛　　396 C.1.4　依分布收敛　　396 C.2　特征函数　　397 C.3　KL散度与大偏差原理　　399 参考文献　　404