1.3　特征值和特征向量

1.3.1　特征值分解

特征值分解可以得到特征值和特征向量。特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。

如果说一个非零向量v是矩阵A的特征向量，则一定可以表示成下面的形式：

λ为特征向量v对应的特征值。特征值分解是将一个矩阵分解为如下形式的过程：

其中，Q是这个矩阵A的特征向量组成的矩阵，Ψ是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量描述了这个矩阵的变化方向（按照从主要的变化到次要的变化排列）。也就是说，矩阵A的信息可以由其特征值和特征向量表示。

1.3.2　奇异值和特征值的关系

我们将矩阵A的转置矩阵AT乘以A，并求AAT的特征值，则有下面的形式：

这里v就是右奇异向量，AAT的特征值为λ1，λ2，…，λm则：

这里的σ就是奇异值，u就是左奇异向量。奇异值σ和特征值类似，在矩阵Ψ中也是从大到小排列的，而且σ的减小特别快。在很多情况下，前10%甚至1%的奇异值之和就占了全部奇异值之和的99%以上。也就是说，我们也可以用前r（r远小于m、n）个奇异值来近似描述矩阵：

右边的三个矩阵相乘的结果将会是一个接近于A的矩阵。在这里，r越接近于n，相乘的结果就越接近于A。