现在，考虑最小二乘方法的几何解释比较有指导意义。为了达到这个目的，考虑坐标轴由$$ t_n $$给出的$$ N $$维空间，$$ \textbf{t} = (t_1,...,t_N)^T $$是空间中的向量。通过$$ N $$个点估计出的每个基函数$$ \phi_j(x_n) $$也可以表示成相同空间中的一个向量，记作$$ \varphi_j $$，如图3.2展示。
图 3.2 最小二乘几何解释
注意$$ \varphi_j $$对应的是$$ \Phi $$的第$$ j $$列，而$$ \phi(x_n） $$对应的是$$ \Phi $$的第$$ n $$行。如果基函数的数量$$ M $$小于数据点的数量$$ N $$，那么$$ M $$个向量$$ \phi_j(x_n) $$可以生成$$ M $$维线性子空间$$ S $$。我们定义$$ \textbf{y} $$是$$ N $$维向量，其中第$$ n^{th} $$个元素由$$ y(x_n,w) , n = 1,....,N $$。由于$$ \textbf{y} $$是向量$$ \varphi_j $$的任意线性组合，所以它可以在$$ M
$$维子空间的任意位置。平方和误差（3.12）等于$$ \textbf{y, t} $$之间的欧式距离（相差一个因子1/2）。所以$$ w $$的最小二乘解，对应子空间$$ S $$中与$$ t $$最近的$$ \textbf{y} $$的选择。直观地来说，从图3.2得到，我们预期这个解与$$ t $$在子空间$$ S $$上的投影正交。我们看到$$ \textbf{y} $$的解是由$$ \Phi w_{ML} $$给出的，然后可以很容易的证明它就是是正交投影的形式这一事实。
在实际应用中，当$$ \Phi^T\Phi $$接近奇异矩阵时，直接求解标准方程会导致数值计算上的困难。特别地，当两个或更多的基向量$$ \varphi_j $$共线或接近共线时，参数的结果会相当大。这样的退化在处理真实数据集的时候并不少见。这样的数值计算上的困难可以通过奇异值分解（singular value decomposition）简称SVD的方法来解决（Press et al., 1992; Bishop and Nabney, 2008）。注意，额外的正则项可以确保即使在退化的情况下，矩阵也是非奇异的。
