奇异值分解SVD（singular value decomposition）

本文介绍: SVD是一个很有用的矩阵因子化方法。SVD提出的目的：任何一个m×n的矩阵都可以当作一个超椭圆（高维空间的椭圆），可以把它们当作单位球体S的像。一个超椭圆可以通过将单位球型在正交方向u1u2…um通过缩放因子σ1…σm，其中m是维度，如果在平面上m=2σ1…σn≥0σ1≥σ2≥…u1u2…unv1v2…vnAviσi。

奇异值分解

SVD是一个很有用的矩阵因子化方法。
SVD提出的目的：任何一个

m times n

$m \times n$ 的矩阵都可以当作一个超椭圆（高维空间的椭圆），可以把它们当作单位球体S的像。
一个超椭圆可以通过将单位球型在正交方向

mathbf{u_1},mathbf{u_2},…,mathbf{u_m}

$u_{1}, u_{2}, \dots, u_{m}$ 通过缩放因子

sigma_1,…, sigma_m

$σ_{1}, \dots, σ_{m}$ ，其中m是维度，如果在平面上m=2
在这里插入图片描述
通过上面这张图，可以做出下面的定义：

sin gular value: $sigma_1,…, sigma_ngeq 0 σ1,…,σn≥0一般假设 σ 1 ≥ σ 2 ≥ . . . sigma_1 geq sigma_2 geq … σ1≥σ2≥…$
Light sin gular vectors: $mathbf{u_1},mathbf{u_2},…,mathbf{u_n} u1,u2,…,un,单位向量$
right singular vectors: $mathbf{v_1},mathbf{v_2},…,mathbf{v_n} v1,v2,…,vn是ui的逆向满足 A v i = σ i u i Av_i = sigma_i u_i Avi=σiui 这个名字中左和右来自svd的公式。把上面的公式矩阵化，可以得到： A V = U ^ Σ ^ AV = hat U hat Sigma AV=U^Σ^ 在这里面$
$hat{Sigma}inmathbb{R}^{ntimes n} Σ^∈Rn×n是一个非负数对角矩阵$
$hat{U}inmathbb{R}^{mtimes n} U^∈Rm×n是一个列正交矩阵$
$Vinmathbb{R}^{ntimes n} V∈Rn×n是一个列正交矩阵因此V是个正交矩阵，因为它是基向量，因此我们就可以得到reduced SVD： A = U ^ Σ ^ V T A = hat U hat Sigma V^T A=U^Σ^VT 正如QR分解一样，可以把扩充 U ^ hat U U^的列使得 U ∈ R m × m Uinmathbb{R}^{mtimes m} U∈Rm×m 然后需要给 Σ ^ hat{Sigma} Σ^添加一些为为0的行，使得可以沉默掉新添加到U中的随机列，这样就得到了完全SVD A = U Σ V T A = U Sigma V^T A=UΣVT 对比reduced和full 现在重新考虑当时把球型变为超椭圆型的目的。 1 V T V^T VT是球型S 2 Σ Sigma Σ拉伸球型得到椭球形 3 U U U旋转投射而不改变形状$

通过SVD可以知道一些矩阵性质

A的秩为r，也就是非零奇异值的个数
 proof:U和V是满秩的，所以rank（A） = rank(
image(A) = span{ $mathbf{u_1},mathbf{u_2},…,mathbf{u_r} u1,u2,…,ur} null(A) = span{ v r + 1 , . . . , v n mathbf{v_{r+1}},…,mathbf{v_n} vr+1,…,vn}$
$||A||_2=sigma_1 ∣∣A∣∣2=σ1 proof: ∣ ∣ A ∣ ∣ 2 ≡ m a x ∣ ∣ V ∣ ∣ 2 = 1 ||A||_2 equiv max_{||V||_2=1} ∣∣A∣∣2≡max∣∣V∣∣2=1||Av||_2$
A的奇异值是AAT的特征值的平方根。
根据上面的性质：可以知道SVD的两种应用

长方形矩阵的条件数

(

)

∣

K(A)=||A||||A^+||

$K (A) = ∣∣ A ∣∣∣∣ A^{+} ∣∣$
其中

A^+

$A^{+}$ 是伪逆

$||A||_2 = sigma_{max} ∣∣A∣∣2=σmax$
$||A^+||_2 = frac{1}{sigma_{min}} ∣∣A+∣∣2=σmin1 所以 K ( A ) = σ m a x σ m i n K(A)=frac{sigma_{max}}{sigma_{min}} K(A)=σminσmax$