conjugate_priors.md

我们已经在伯努利分布（共轭先验是beta分布）和高斯分布（均值的共轭先验是高斯，精度的共轭先验是Wishart分布），碰到过几次共轭先验的概念。通常来说，对于给定的分布$$ p(x|\eta) $$，可以找到与似然函数共轭的先验$$ p(\eta) $$，因此，后验分布与先验有同样的函数形式。对于任意的式（2.194）的指数族成员，都有一个可以写成：

$$ p(\eta|\mathcal{x},v) = f(\mathcal{x},v)g(\eta)^vexp{v\eta^T\mathcal{x}} \tag{2.229} $$

其中$$ f(\mathcal{x},v) $$是标准化系数，且$$ g(\eta) $$和出现在式（2.194）中的是同一个函数。为了证明这实际是共轭的，让先验（2.229）乘以似然函数（2.227）来获取后验分布，忽略标准化系数，得到：

$$ p(\eta|X,\mathcal{x},v) \propto g(\eta)^{v+N}exp\left{\eta^T\left(\sum\limits_{n=1}^Nu(x_n)+v\mathcal{x}\right)\right} \tag{2.230} $$

这同样与先验（2.229）具有相同的函数形式，确认是共轭的。此外，参数$$ v $$可以解释为先验分布中伪观测数量，给定$$ \mathcal{x} $$下每个伪观测都对充分统计量$$ u(x) $$有贡献。