奇异值与特征值辨析 - gwave的文章 - 知乎
https://zhuanlan.zhihu.com/p/353637184
特征向量描述的是矩阵的方向不变作用(invariant action)的向量；
奇异向量描述的是矩阵最大作用(maximum action)的方向向量。（在$A$与所有单位向量$x$的乘积中，$Ax$模长是最大的）
特征值分解
$Av=\lambda v$
特征值分解是将方阵分解：$A=P\Lambda P^{-1}$，$P$中每一列是单位特征向量。其实就是从$AP=P\Lambda$转换得到的。
奇异值分解SVD
人们是如何想到奇异值分解的？ - 石溪的回答 - 知乎 https://www.zhihu.com/question/263722514/answer/1447844961
SVD其实是找到一个$Av_i=\sigma_i u_i$，相当于把一个空间的向量变换后变成另一个空间的向量。
所以$AV=U\Sigma$，其中$A$不需要是方阵
而$V$的每一列是标准正交向量，所以$V^{-1}=V^T$