SVD奇异值分解数学原理

推导完PCA再来看看SVD

概述

  • 奇异值分解(singular value decomposition)可以分解任意形状的矩阵, PCA是对方阵操作,所以SVD适用范围更广
  • A=UΣV^t

具体推导

分解形式

A是一个m*n的矩阵,那么A的SVD分解为Amn= Umm*Σmn*Vnn^t (Amn表示A是m*n的矩阵)
其中:

  • Σ只在对角线(可能不同于方阵的对角线)上有非零值,称为A的奇异值(singular value),按降序排列,取值为 A*A^t 或者 A^t*A 的特征值的正平方根(取值不同可造成SVD分解形式的不唯一)

  • U和V都是正交矩阵,即满足U^t*U = E, V^t*V = E

  • A*A^t
    = U*Σ*V^t*V*Σ^t*U^t
    = U*Σ*Σ^t*U^t (ΣΣ^t是对角矩阵)
    所以,Σ\
    Σ^t的对角元素是A*A^t的特征值,U是A*A^t的特征向量构成的正交矩阵

  • A^t*A
    = V*Σ^t*U^t*U*Σ*V^t
    = V*Σ^t*Σ*V^t
    所以,Σ^t*Σ的对角元素是A^t*A的特征值,V是A^t*A的特征向量构成的正交矩阵

SVD分解展开式:

不妨设m≥n,则有:
Amn
= Umm*Σmn*Vnn^t
= (u1,u2…um)*diag_like(d1,d2…dn)*(v1^t,v2^t…vn^t)^t
= Σdi*ui*vi^t (i from 1 to n)
= Σdi*Zi (令Zi=ui*vi^t,Zi也是m*n型)
1.png
所以,对A进行SVD分解,相当于把A分解为n个(m≥n时)Zi的加权和.
di的大小评估了每个Zi对A的贡献,所以可以挑出大di,抛弃小di以实现降维的目的

SVD的应用

信息压缩

  • 取前r大的奇异值di,来近似A,也就是U取前r个列向量,V取前r个列向量,Σ取前r个对角元素,即 Amn ≈ Umr*Σrr*Vrn^t (对应上图看更明确)
    当r<<m或者n时,会极大地压缩A,但是r越小信息丢失得越多

    图像降噪

  • 通常,小的奇异值对应的是噪声,所以取前r个奇异值di可以降噪
0%