奇异值分解 发表评论(0) 编辑词条

是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

设A为m*n阶矩阵，AHA的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。>如果把AHA的特征值记为λi(A)，则σi(A)＝λi(AHA)^(1/2)。
>>

设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得：>>

A = U*S*V’>>

其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。

设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得>>

A = U*S*V’>>

其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。

1、 奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。U和V中分别是A的奇异向量，而S是A的奇异值。AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。因此，奇异值分解和特征值问题紧密联系。 >>

2、 奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。

因为U 和V 向量都是单位化的向量, 我们知道U的列向量u1,...,um组成了Km空间的一组标准正交基。同样，V的列向量v1,...,vn也组成了Kn空间的一组标准正交基(根据向量空间的标准点积法则).

线性变换T: Kn → Km，把向量x变换为Mx。考虑到这些标准正交基，这个变换描述起来就很简单了: T(vi) = σi ui, for i = 1,...,min(m,n), 其中σi 是对角阵Σ中的第i个元素; 当i > min(m,n)时，T(vi) = 0。

这样，SVD理论的几何意义就可以做如下的归纳：对于每一个线性映射T: Kn → Km，T把Kn的第i个基向量映射为Km的第i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量，映射T就可以表示为一个非负对角阵。