我们现在得到了后验概率分布的一个归一化的高斯近似。我们稍后会使用这个近似得到对于新数据的预测分布。然而，首先我们需要通过最大化边缘似然函数的下界，确定变分参数$$ {\xi_n} $$。
为了完成这一点，我们首先将不等式（10.152）代回到边缘似然函数，可得
$$
\ln p(t) = \ln \int p(t|w)p(w)dw \geq \ln\int h(w,\xi)p(w)dw = L(\xi) \tag{10.159}
$$
与3.5节的线性回归模型的超参数$$ \alpha $$的最优化一样，有两种方法确定$$ \xi_n $$。在第一种方法中，我们看到函数$$ L(\xi) $$由$$ w $$上的积分定义，因此我们可以将$$ w $$看成一个潜在变量，然后使用EM算法。在第二种方法中，我们解析的对$$ w $$积分，然后直接关于$$ \xi $$进行最大化。让我们首先考虑EM方法。
在EM算法中，首先选择参数$$ {\xi_n} $$的某个初始值，我们将这些初始值聚集在一起，记作$$ {\xi}^{old} $$。然后在EM算法的E步骤中，我们使用这些参数值找到$$ w $$上的后验概率分布，它由式（10.156）给出。之后在M步骤中，我们最大化完整数据似然函数的期望，形式为
$$
Q(\xi,\xi^{old}) = \mathbb{E}[\ln{h(w,\xi)p(w)}] \tag{10.160}
$$
其中期望是关于使用$$ \xi^{old} $$得到的后验概率分布$$ q(w) $$进行计算的。注意，$$ p(w) $$不依赖于$$ \xi $$，代入$$ h(w, \xi) $$，我们有
$$
Q(\xi,\xi^{old}) = \sum\limits_{n=1}^N\left{\ln\sigma(\xi_n) - \frac{\xi_n}{2} - \lambda(\xi_n)(\phi^T\mathbb{E}[ww^T]\phi_n - \xi_n^2)\right} + const \tag{10.161}
$$
其中，“常数”表示与$$ \xi $$无关的项。我们现在令关于$$ \xi_n $$的导数等于0。经过简单的代数推导，使用$$ \sigma(\xi) $$和$$ \lambda(\xi) $$，有
$$
0 = \lambda'(\xi_n)(\phi_n^T\mathbb{E}[ww^T]\phi_n - \xi_n^2) \tag{10.162}
$$
现在，我们注意到，对于$$ \xi \geq 0,\lambda'(\xi) $$是$$ \xi $$的一个单调函数，并且由于界限在$$ \xi = 0 $$两侧的对称性，我们可以将我们的注意力限制在$$ \xi $$的非负部分而不失一般性。因此，$$ \lambda'(\xi) \neq 0 $$，从而我们得到了下面的重估计方程
$$
(\xi^{new})^2 = \phi_n^T\mathbb{E}[ww^T]\phi_n = \phi_n^T(S_N + m_Nm_N^T)\phi_n \tag{10.163}
$$
推导过程中我们使用了式（10.156）。
让我们总结一下寻找变分后验概率分布的EM算法。首先，我们初始化变分参数$$ \xi^{old} $$。在E步骤中，我们计算由式（10.156）给出的$$ w $$上的后验概率分布，其中均值和协方差分别由式（10.157）和式（10.158）定义。在M步骤中，我们使用这个变分后验概率，计算由式（10.163）给出的一个新的$$ \xi $$值。不断重复E步骤和M步骤，直到满足一个适当的收敛准则，这在实际应用中通常只需要几步迭代。
我们介绍另一种得到$$ \xi $$的重估计方程的方法。我们注意到，在下界$$ L(\xi) $$的定义（10.159）中的关于$$ w $$的积分中，被积函数的形式类似于高斯分布，因此积分可以解析地计算。计算出这个积分之后，我们可以关于$$ \xi_n $$进行求导。可以证明，这种方法得到的重估计方程与之前用EM方法得到的方程（10.163）完全相同。
正如我们已经强调过的那样，在变分方法的应用中，能够计算出由式（10.159）给出的下界$$ L(\xi) $$是很有用的。我们注意到$$ p(w) $$是一个高斯分布，$$ h(w, \xi) $$是$$ w $$的二次函数的指数形式，从而我们可以解析地计算$$ w $$上的积分。因此，通过配平方的方法，然后使用高斯分布的标准化系数的标准结果，我们可以得到解的精确形式如下
$$
\begin{eqnarray}
L(\xi) &=& \frac{1}{2}\ln\frac{|S_N|}{|S_0|} + \frac{1}{2}m_N^TS_N^{-1}m_N - \frac{1}{2}m_0^TS_0^{-1}m_0 \\
& & +\sum\limits_{n=1}^N\left{\ln\sigma(\xi_n) - \frac{1}{2}\xi_n + \lambda(\xi_n)\xi_n^2\right} \tag{10.164}
\end{eqnarray}
$$
变分框架也可以应用于数据顺序到达的情形（Jaakkla and Jordan, 2000）。在这种情况下，我们保持$$ w $$上的一个高斯后验概率分布，它使用先验概率分布$$ p(w) $$进行初始化。随着每个数据点的到达，使用界限（10.151），然后标准化，我们就可以对后验概率进行更新，得到一个更新后的后验概率分布。
通过对后验概率分布进行积分，我们可以得到预测分布，它的形式与4.5.2节讨论的拉普拉斯近似的形式相同。图10.13给出了人工生成数据集的变分预测分布。
图 10.13 logistic回归的贝叶斯方法的例子。数据集是一个简单的线性可分的数据集。左图给出了使用变分推断的方法得到的预测分布。我们看到决策边界大致位于数据点的聚类的中间位置，并且预测分布的轮廓线在远离数据点的位置发生分叉，这反映出了在这些区域进行分类的不确定性。右图给出了对应于从后验概率分布$$ p(w|t) $$中抽取的参数$$ w $$的五个样本点的决策边界。
这个例子为7.1节讨论的“大边缘”的概念提供了一些有趣的认识。“大边缘”的概念与贝叶斯的解有着定性的相似的行为。
