Summary 前言 介绍 例子：多项式曲线拟合 概率论 概率密度 期望与协方差 贝叶斯概率 高斯分布 曲线拟合再访 贝叶斯曲线拟合 模型选择 维度灾难 决策论 最小化误分率 最小化损失期望 拒绝选项 推断与决策 回归损失函数 信息论 相对熵和互信息 习题解答 概率分布 二元变量 Beta分布 多项式变量 狄利克雷分布 高斯分布 条件高斯分布 边缘高斯分布 高斯变量的贝叶斯定理 高斯分布的最大似然 顺序估计 高斯分布的贝叶斯推断 学生t分布 周期变量 混合高斯模型 指数族 最大似然和充分统计量 共轭先验 无信息先验 非参数方法 核密度估计 近邻算法 回归的线性模型 线性基函数模型 最大似然和最小二乘 最小二乘的几何解释 顺序学习 正则化最小二乘 多输出 偏置方差分解 贝叶斯线性回归 参数分布 预测分布 等价核 贝叶斯模型比较 证据近似 计算证据函数 最大化证据函数 有效参数数量 固定基函数的局限性 分类的线性模型 判别函数 二分类 多分类 最小二乘分类法 Fisher线性判别式 与最小二乘的关系 多分类的Fisher判别式 感知器算法 概率生成模型 连续输入 最大似然解 离散特征 指数族 概率判别模型 固定基函数 Logistic回归 迭代再加权最小平方 多类别logistic回归 probit回归 标准链接函数 拉普拉斯近似 模型对比和BIC 贝叶斯Logistic回归 拉普拉斯近似 预测分布 神经网络 前馈网络函数 权空间对称性 网络训练 参数优化 局部二次近似 使用梯度信息 梯度下降最优化 误差反向传播 误差函数导数计算 一个简单的例子 反向传播的效率 Jacobian矩阵 Hessian矩阵 对角近似 外积近似 Hessian矩阵的逆 有限差 精确计算Hessian矩阵 Hessian快速乘法 神经网络中的正则化 相容高斯先验 早期停止 不变性 切线传播 用变换后的数据训练 卷积网络 软权值共享 混合密度网络 贝叶斯神经网络 后验参数分布 超参数优化 分类的贝叶斯神经网络 核方法 对偶表示 核构造 径向基函数网络 分类的贝叶斯神经网络 高斯过程 线性回归再探 回归的高斯过程 超参数学习 自动相关性确定 分类的高斯过程 拉普拉斯近似 与神经网络的联系 稀疏核机 最大边缘分类器 重合类分布 与logistic回归的关系 多类别SVM 回归问题的SVM 计算学习理论 相关向量机 用于回归的RVM 稀疏性分析 用于分类的RVM 图模型 贝叶斯网络 例子：多项式回归 生成式模型 离散变量 线性高斯模型 条件独立 三个例图 D-划分 马尔科夫随机场 条件独立性质 分解性质 例证：图像去噪 与有向图的关系 图模型中的模型推断 链推断 树 因子图 加-乘算法 最大加算法 一般图的精确推断 循环置信传播 学习图结构 混合模型及EM K均值聚类 图像分割与压缩 混合高斯 最大似然 高斯混合的EM EM的另一种观点 高斯混合再探 与K均值的关系 伯努利分布混合 贝叶斯线性回归的EM 一般的EM算法 近似推断 变分推断 分解分布 分解近似的性质 例子：一元高斯分布 模型比较 高斯变分混合 变分分布 变分下界 预测密度 分量数量的确定 诱导分解 变分线性回归 变分分布 预测分布 下界 指数族分布 变分信息传递 局部变分法 变分logistic回归 变分后验分布 最优化变分参数 超参数推断 期望传播 例子：杂波问题 图的期望传播 采样方法 基本采样算法 标准分布 拒绝采样 重要采样 采样-重要性-再采样 采样与EM算法 马尔科夫链蒙特卡罗 马尔科夫链 Metropolis-Hastings算法 Gibbs采样 切片采样 混合蒙特卡罗算法 马尔科夫链 混合蒙特卡罗 划分函数估计 连续潜在变量 主成分分析 最大方差形式 最小误差形式 PCA的应用 高维数据的PCA 概率PCA 最大似然PCA PCA的EM算法 贝叶斯PCA 因子分析 核PCA 非线性隐含变量模型 独立成分分析 自联想神经 非线性流形建模 顺序数据 马尔科夫模型 隐马尔科夫模型 HMM的最大似然 向前向后算法 HMM的加-乘算法 缩放因子 Viterbi算法 隐马尔科夫模型扩展 线性动态系统 LDS推断 LDS学习 LDS推广 粒子滤波 组合模型 贝叶斯模型平均 委员会 助推 最小化指数误差 助推的误差函数 基于树的模型 条件混合模型 线性回归模型混合 Logistic模型混合 专家混合