第1章　PageRank—A　　1 1.1　模型　　1 1.2　马尔可夫链　　3 1.2.1　定义　　3 1.2.2　n 步后的分布和稳态分布　　4 1.3　分析　　5 1.3.1　不可约性和非周期性　　5 1.3.2　大数定律　　5 1.3.3　长期时间比例　　6 1.4　击中时间　　7 1.4.1　平均击中时间　　7 1.4.2　击中另一状态之前命中某一状态的概率　　8 1.4.3　马尔可夫链的首步方程　　9 1.5　小结　　10 1.6　参考资料　　10 1.7　练习　　11 第2章　PageRank—B　　15 2.1　样本空间　　15 2.2　投掷硬币的大数定律　　17 2.2.1　依概率收敛　　17 2.2.2　几乎处处收敛　　18 2.3　独立同分布随机变量的大数定律　　20 2.3.1　弱大数定律　　20 2.3.2　强大数定律　　21 2.4　马尔可夫链的大数定律　　22 2.5　期望的收敛　　23 2.6　大定理的证明　　25 2.6.1　定理1.2(a)的证明　　25 2.6.2　定理1.2(b)的证明　　26 2.6.3　周期性　　27 2.7　小结　　29 2.8　参考资料　　29 2.9　练习　　30 第3章　多路复用—A　　31 3.1　链路共享　　32 3.2　高斯随机变量与中心极限定理　　34 3.3　多路复用与高斯分布　　37 3.4　置信区间　　37 3.5　缓冲器　　39 3.6　多址访问　　43 3.7　小结　　44 3.8　参考资料　　45 3.9　练习　　45 第4章　多路复用—B　　47 4.1　特征方程　　47 4.2　中心极限定理的证明（概要）　　48 4.3　N(0,1)的高阶矩　　49 4.4　两个独立同分布于N (0,1)的随机变量平方和　　50 4.5　特征函数的两个应用　　51 4.5.1　泊松分布作为二项分布的近似　　51 4.5.2　指数分布作为几何分布的近似　　51 4.6　误差函数　　52 4.7　自适应多址访问　　53 4.8　小结　　55 4.9　参考资料　　55 4.10　练习　　55 第5章　数字链路—A　　57 5.1　检测与贝叶斯准则　　58 5.1.1　贝叶斯准则　　58 5.1.2　最大后验概率（MAP）与最大似然估计（MLE） 　　59 5.1.3　二元对称信道　　60 5.2　霍夫曼编码　　62 5.3　高斯信道　　64 5.4　多维高斯信道　　66 5.5　假设检验　　67 5.5.1　规范化问题　　68 5.5.2　解答　　68 5.5.3　示例　　69 5.6　小结　　75 5.7　参考资料　　76 5.8　练习　　76 第6章　数字链路—B　　79 6.1　霍夫曼编码最优性的证明　　79 6.2　低密度奇偶校验码（LDPC码）　　80 6.3　联合高斯分布随机变量　　85 6.4　联合高斯分布随机变量的密度函数　　86 6.5　奈曼-皮尔逊定理5.6的证明　　88 6.6　小结　　89 6.7　参考资料　　90 6.8　练习　　90 第7章　追踪定位—A　　91 7.1　估计问题　　92 7.2　线性最小平方估计（LLSE） 　　93 7.3　线性回归　　97 7.4　最小均方估计（MMSE）　　98 7.5　随机向量的情况　　104 7.6　卡尔曼滤波器　　106 7.6.1　滤波器　　106 7.6.2　示例　　107 7.7　小结　　110 7.8　参考资料　　110 7.9　练习　　 111 第8章　追踪定位—B　　115 8.1　LLSE的更新　　115 8.2　卡尔曼滤波器的推导　　116 8.3　卡尔曼滤波器的特性　　118 8.3.1　可观测性　　119 8.3.2　可达性　　120 8.4　扩展卡尔曼滤波器　　121 8.5　小结　　124 8.6　参考资料　　124 第9章　语音识别—A　　125 9.1　学习：概念和示例　　125 9.2　隐马尔可夫链　　126 9.3　期望最大化和聚类　　129 9.3.1　一个简单的聚类问题　　129 9.3.2　回首再探　　130 9.4　学习：隐马尔可夫链　　132 9.4.1　硬期望最大化　　132 9.4.2　训练维特比算法　　132 9.5　小结　　132 9.6　参考资料　　133 9.7　练习　　133 第10章　语音识别—B　　135 10.1　在线线性回归　　135 10.2　随机梯度投影理论　　136 10.2.1　梯度投影　　137 10.2.2　随机梯度投影算法　　140 10.2.3　鞅收敛定理　　142 10.3　大数据　　143 10.3.1　相关数据　　143 10.3.2　压缩感知　　147 10.3.3　推荐系统　　150 10.4　小结　　151 10.5　参考资料　　151 10.6　练习　　151 第11章　路线规划—A　　153 11.1　系统建模　　153 11.2　方法1：提前规划　　154 11.3　方法2：适应性算法　　155 11.4　马尔可夫决策问题　　156 11.5　无限时域问题　　161 11.6　小结　　162 11.7　参考资料　　162 11.8　练习　　163 第12章　路线规划—B　　166 12.1　线性二次型高斯问题　　166 12.2　有噪声观测时的线性二次型高斯问题　　169 12.3　部分可观测的马尔可夫决策问题　　171 12.4　小结　　173 12.5　参考资料　　174 12.6　练习　　174 第13章　视野拓展和补充　　176 13.1　推断问题　　176 13.2　充分统计量　　177 13.3　无限马尔可夫链　　179 13.4　泊松过程　　181 13.4.1　定义　　181 13.4.2　独立自增量　　182 13.4.3　跳跃次数　　183 13.5　连续时间马尔可夫链　　184 13.6　二元对称信道的容量　　186 13.7　概率界　　190 13.8　鞅　　194 13.8.1　定义　　194 13.8.2　示例　　195 13.8.3　大数定律　　199 13.8.4　沃尔德等式　　200 13.9　小结　　201 13.10　参考资料　　201 13.11　练习　　202 附录A　概率论基础知识　　206 附录B　线性代数基本知识　　240 附录C　Matlab　　253 参考文献　273