特異値分解(とくいちぶんかい、singular value decomposition）とは、線形代数学における、複素数あるいは実数を成分とする行列に対する行列分解の一手法である。
信号処理や統計学の分野で用いられる。
特異値分解は、行列に対するスペクトル分解定理の一般化とも考えられ、正方行列に限らず任意の形の行列を分解できる。


特異値分解定理

M を、m 行 n 列の 行列 とする。行列の要素は、体 K から取られているものとする。体は 実数体であっても複素数体であってもよい。このとき、



という M の分解が存在する。
U は m 行 m 列のユニタリ行列、行列 Σ は m 行 n 列で対角成分以外は零で、対角成分は非負。
V* は n 行 n 列 ユニタリ行列 V の随伴行列（複素共役かつ転置行列）。この分解を特異値分解と呼ぶ。


行列 V は、M の入力の基底となる正規直交ベクトルを表す。
行列 U は、M の出力の基底となる正規直交ベクトルを表す。
行列 Σ は特異値を対角成分に持つ。特異値は増幅率を表し、入力成分がそれぞれ何倍されて出力されるかを表す。
便宜的に Σ の対角成分 Σi,i は、大きいものから小さいものに並べる。こうすると、U と V は一意には決まらないが、Σ は一意に定まる。


特異値、特異ベクトルと特異値分解との関係

非負の数 σ は、

Mv = σu

かつ

M * u = σv

という条件を満たす単位長さの Km 上のベクトル u と Kn 上のベクトル v が存在するときに限って、行列 M の特異値であるといえる。 ベクトル u と v は、それぞれ σ の左特異ベクトルと右特異ベクトルと呼ばれる。


任意の特異値分解



において、Σ の対角成分は、M の特異値に等しい。U と V の列ベクトルは、それぞれ左特異値ベクトル、右特異値ベクトルを並べたものである。すなわち、

m 行 n 列行列 M は、少なくともひとつ、多くとも p = min(m,n) 個の異なる特異値を持つ。
常にKm 上のユニタリ基底が存在して、それは M の左特異値ベクトルから成る。
常にKn 上のユニタリ基底が存在して、それは M の右特異値ベクトルから成る。



http://ja.wikipedia.org/wiki/%E7%89%B9%E7%95%B0%E5%80%A4%E5%88%86%E8%A7%A3
http://www.misojiro.t.u-tokyo.ac.jp/~murota/lect-kisosuri/singularvalue050129.pdf

行列のスペクトル分解
http://blog.livedoor.jp/cfv21/math/spectre.htm