二元变量只能量化描述两种可能值中取一种的情况。但是，我们经常碰到的是从$$ K $$个可能的互斥状态中取一种的离散变量。尽管，有很多种不同的方式来表示这样的变量，我们先介绍一种被称为“1-of-K”的比较方便的方法。这种方法是：用$$ K $$维向量其中第$$ x_k $$元素为1，其它为0来表示。举个例子：如果有够取$$ K = 6 $$种状 态的变量，其中一次观测得到$$ x_3 = 1 $$，那么就可以表示为：
$$ x = (0, 0, 1, 0, 0, 0)^T \tag{2.25} $$
注意，这样的向量满足$$ \sum_{k=1}^K x_k = 1 $$。如果用参数$$ \mu_k $$来标记$$ x_k = 1 $$的概率，那么我们就得到$$ x $$的分布：
$$
p(x|\mu) = \prod\limits_{k=1}^K\mu_k^{x_k} \tag{2.26}
$$
其中$$ \mu = (\mu_1,...,\mu_K)^T $$，由于参数$$ \mu_k $$表示概率，所以需要满足$$ \mu_k \geq 0 $$且$$ \sum_k\mu_k = 1 $$。公式（2.26）分布可以看作伯努利分布在多于两种输出时的泛化。很容易证明这个分布是标准化的。
$$
\sum\limits_xp(x|\mu) = \sum\limits_{k=1}^K\mu_k = 1 \tag{2.27}
$$
且
$$
\mathbb{E}[x|\mu] = \sum\limits_xp(x|\mu)x = (\mu_1,...,\mu_M)^T = \mu \tag{2.28}
$$
现在，考虑一个有$$ N $$个独立观测值$$ x_1,...,x_N $$的数据集$$ D $$。其对应的似然函数的形式为
$$
p(D|\mu) = \prod\limits_{n=1}^N\prod\limits_{k=1}^K\mu_k^{x_{nk}} = \prod\limits_{k=1}^K\mu_k^{(\sum_nx_{nk})} = \prod\limits_{k=1}^K\mu_k^{m_k} \tag{2.29}
$$
得到似然函数只通过$$ K $$个：
$$
m_k = \sum\limits_n x_{nk} \tag{2.30}
$$
依赖于$$ N $$个数据点。它表示观测到$$ x_k = 1 $$的次数。这些别称为这个分布的充分统计量（sufficient statistics）。
为了得到$$ \mu $$的最大似然解，我们需要在$$ \mu_k $$的和等于1的约束下，关于$$ \mu_k $$最大化$$ \ln p(D|\mu) $$。这可以通过拉格朗日乘数法得到，即：
$$
\sum\limits_{k=1}^{K}m_k\ln\mu_k + \lambda(\sum\limits_{k=1}^K\mu_k - 1 ) \tag{2.31}
$$
对公式（2.31）关于$$ \mu_k $$求导并使之等于0得到：
$$
\mu_k = -m_k / \lambda \tag{2.32}
$$
把公式（2.32）代入限制条件$$ \sum_k\mu_k = 1 $$，可得$$ \lambda = -N $$。所以我们的最大似然解：
$$
\mu_k^{ML} = \frac{m_k}{N} \tag{2.33}
$$
就是观测$$ x_k = 1 $$所占的比例。
考虑$$ m_1,...,m_K $$在参数$$ \mu $$和观测总数N条件下联合分布。通过公式（2.29）得到：
$$
Mult(m_1,...,m_k|\mu,N) = \binom{N}{m_1m_2...m_k}\prod\limits_{k=1}^K\mu_k^{m_k} \tag{2.34}
$$
这就是多项式分布（multinomial distribution）。标准化系数是把N个物体分成大小为$$ m_1,...,m_K $$的K组的方案总数，定义为
$$
\binom{N}{m_1m_2...m_k} = \frac{N!}{m_1!m_2!...m_k!} \tag{2.35}
$$
注意，$$ m_k $$满足下面的约束：
$$
\sum\limits_{k=1}^Km_k = N \tag{2.36}
$$