我们可以将相关向量机框架推广到分类问题，推广的方法是将权值的ARD先验应用到第4章研究过的概率线性分类模型上。首先，我们考虑二分类问题，目标变量是二值变量$$ t \in {0, 1} $$。这个模型现在的形式为基函数的线性组合经过logistic sigmoid函数的变换，即
$$
y(x,w) = \sigma(w^T\phi(x)) \tag{7.108}
$$
其中$$ \sigma(\dot) $$是式（4.59）定义的logistic sigmoid函数。如果我们引入权值$$ w $$上的高斯先验，那么我们就得到了第4章讨论过的模型。这里的区别在于，在RVM中，模型使用的是ARD先验（7.80），其中每个权值参数有一个独立的精度超参数。
与回归模型不同，我们不在对参数向量$$ w $$解析地求积分。这里，我们按照Tipping(2001)的方法，使用拉普拉斯近似，它曾经被应用于一个密切相关的问题，即4.5.1节介绍的贝叶斯logistic回归。
首先，我们初始化超参数向量$$ \alpha $$。对于这个给定的$$ \alpha $$值，我们接下来对后验概率建立一个高斯近似，从而得到了对边缘似然的一个近似。这个近似后的边缘似然函数的最大化就引出了对$$ \alpha $$值的重新估计，并且不断重复这个过程，直到收敛。
让我们详细研究这个模型的拉普拉斯近似。对于固定的$$ \alpha $$值，$$ w $$的后验概率分布的众数可以通过最大化
$$
\begin{eqnarray}
\ln p(w|t,\alpha) &=& \ln{p(t|w)p(w|\alpha)} - \ln p(t|\alpha) \\
&=& \sum\limits_{n=1}^N{t_n\ln y_n + (1 - t_n)\ln(1 - y_n)} - \frac{1}{2}w^TAw + const \tag{7.109}
\end{eqnarray}
$$
来得到。其中$$ A = diag(\alpha_i) $$。最大化可以使用4.3.3节讨论的迭代重加权最小平方（IRLS）方法完成。对于这个算法，我们需要求出对数后验概率分布的梯度向量和Hessian矩阵。根据式（7.109），结果为
$$
\begin{eqnarray}
\nabla\ln p(w|t,\alpha) &=& \Phi^T(t - y) - Aw \tag{7.110} \\
\nabla\nabla\ln p(w|t,\alpha) &=& -(\Phi^TB\Phi + A) \tag{7.111}
\end{eqnarray}
$$
其中$$ B $$是一个$$ N \times N $$的对角矩阵，元素为$$ b_n = y_n(1 − y_n) $$。向量$$ y = (y_1,...,y_N)^T $$，矩阵$$ \Phi $$是设计矩阵，元素为$$ \Phi_{ni} = \phi_i(x_n) $$。这里，我们使用到了logistic sigmoid函数的导数的性质（4.88）。在IRLS算法收敛的位置，负Hessian矩阵表示后验概率分布的高斯近似的协方差矩阵的逆矩阵。
后验概率的高斯近似的众数，对应于高斯近似的均值，可以通过令式（7.1100等于0求得。得到的拉普拉斯近似的均值和方差的形式为
$$
\begin{eqnarray}
w^* &=& A^{-1}\Phi^T(t - y) \tag{7.112} \\
\Sigma &=& (\Phi^TB\Phi + A)^{-1} \tag{7.113}
\end{eqnarray}
$$
我们现在使用这个拉普拉斯近似来计算边缘似然函数。使用式（4.135）给出的使用拉普拉斯近似计算的积分的一般结果，我们有
$$
\begin{eqnarray}
p(t|\alpha) &=& \int p(t|w)p(w|\alpha)dw \
&\simeq& p(t|w^)p(w^|\alpha)(2\pi)^{M/2}\vert\Sigma\vert^{1/2} \tag{7.114}
\end{eqnarray}
$$
如果我们代入$$ p(t|w^) $$和$$ p(w^|\alpha) $$的表达式，然后令边缘似然函数关于$$ \alpha_i $$的导数等于0，得到
$$
-\frac{1}{2}(w_i^*)^2 + \frac{1}{2\alpha_i} - \frac{1}{2}\Sigma_{ii} = 0 \tag{7.115}
$$
定义$$ \gamma_i = 1 − \alpha_i\Sigma_{ii} $$，整理可得：
$$
\alpha_i^{new} = \frac{\gamma_i}{(w_i^*)^2} \tag{7.116}
$$
这与回归RVM的重估计式（7.87）相同。
如果我们定义
$$
\hat{t} = \Phi w^* + B^{-1}(t - y) \tag{7.117}
$$
那么我们可以将近似对数边缘似然函数写成
$$
\ln p(t|\alpha) = -\frac{1}{2}\left{N\ln(2\pi) + \ln\vert C \vert + (\hat{t})^TC^{-1}\hat{t}\right} \tag{7.118}
$$
这样的形式，其中
$$
C = B + \Phi A \Phi^T \tag{7.119}
$$
这与回归问题得到的式（7.85）形式相同，因此我们可以应用同样的稀疏性分析的过程，得到同样的快速学习算法，这种算法中，我们在每一步最优化单独的一个超参数$$ \alpha_i $$。
图7.12给出了将相关向量机应用于人工生成的分类数据上的结果。
图 7.12 相关向量机应用于人工数据集的说明。左图给出了决策边界和数据点，相关向量用圆圈标记出。将这个结果与图7.4给出的对应的支持向量机的结果进行比较，表明RVM得到了更稀疏的模型。右图画出了由RVM给出的后验概率分布，其中红色（蓝色）所占的比重表示数据点属于红色（蓝色）类别的概率。
我们看到相关向量倾向于不在决策边界区域内，这与支持向量机恰好相反。这与我们之前对于RVM的分析是相容的，因为以位于决策边界附近的数据点为中心的基函数$$ \phi_i(x) $$会产生一个向量$$ \phi_i $$，它与训练数据向量的对齐效果较差。
与SVM相比，相关向量机的一个潜在的优势是，它做出了概率形式的预测。如对于视频流人脸跟踪的线性动态系统的非线性扩展，可以用RVM来辅助构建它的发射概率密度（Williams et al., 2005）。
目前为止，我们已经考虑了二分类问题的RVM。对于$$ K > 2 $$个类别的情形，我们再次使用4.3.4节中的概率方法。这种方法中，有$$ K $$个形式为
$$
a_k = w_k^Tx \tag{7.120}
$$
的线性模型。这些模型使用softmax函数进行组合，给出形式为
$$
y_k(x) = \frac{exp(a_k)}{\sum_jexp(a_j)} \tag{7.121}
$$
的输出。这样，对数似然函数为
$$
\ln p(T|w_1,...,w_K) = \prod\limits_{n=1}^N\prod\limits_{k=1}^K y_{nk}^{t_nk} \tag{7.122}
$$
其中，对于每个数据点$$ n,t_{nk} $$的表示方式是“1-of-K”的形式，$$ T $$是一个元素为$$ t_{nk} $$的矩阵。同样的，拉普拉斯近似可以用来最优化超参数（Tipping, 2001），其中模型和Hessian矩阵可以使用IRLS算法得到。与支持向量机使用的“类别对”形式的方法相比，RVM对多分类问题的处理的基础更加牢固，并且对于新的数据点，能够给出概率形式的预测。主要的缺点是，Hessian矩阵的维度为$$ MK \times MK
$$，其中$$ M $$是激活的基函数的数量，这使得与二分类的RVM相比，训练的计算代价多了一个额外的$$ K^3 $$因子。
相关向量机的主要缺点是，与SVM相比，训练时间相对较长。但是，RVM避免了通过交叉验证确定模型复杂度的过程，从而补偿了训练时间的劣势。此外，因为它产生的模型更稀疏，所以它对于测试点进行预测的计算时间通常更短，而对于测试点的计算时间通常在实际应用中更加重要。
