第 4 章 超球面上の勾配系力学モデルによる主成分分析の実現 71
4.3 主成分分析を実現する勾配系力学モデル
4.3.2 非線形変数変換勾配系による主成分分析の計算モデル
正規直交制約付最適化問題(4.27)は，単純にその解を求めることを考えるならば，目的
関数Jtotalに等式制約条件(4.27c)を組み込んだLagrange関数の最小化する緩和を適用す
ればよい．そのようなLagrange関数の例として，
L({xi}ni=1,λ) =Jtotal({xi}ni=1) + Xn
i=1
Xn j=1
λij(xTi xj −δij) (4.28) などを考えることができる．なお，δijはクロネッカーのデルタδijである．しかしながら，
問題(4.27)のように制約条件が増加すると，Lagrange乗数λの各要素に適切な値を設定
しなければ，制約条件を完全には満足すると限らない準最適解が得られてしまう．特に本 問題では，直交条件が有効に作用しない場合，ベクトルが相互に分離されないまま，目的
関数Jtotalの値が十分に小さくなり，複数のベクトルが同一の主成分を与えることも懸念
される．
これに対し，本研究では2章から体系的に議論しているように，制約付最適化問題に対 し，制約条件の充足を保証する有界な力学モデルとしての勾配系モデルについて議論を おこなってきた．問題(4.27)は，ベクトルのノルムを1とする規格化をおこなうが，幾何 学的に解釈すれば，Euclid空間の原点を中心とする半径1の超球面上への拘束と解釈すれ
ば，問題(4.1)とも類似する．そのうえ，各ベクトルの直交性を考えれば，あらかじめ単
位超球面内で直交した骨組みのようにベクトルを組を与え，単位超球面に拘束させたまま 回転させることを考えて，新たな有界勾配系力学モデルを与える．
n次元Euclid空間における正規直交基底をe1,· · · ,enとする．ただし，eiは第i成分の 値のみ1で，他の成分の値は0とする単位ベクトルである．これらは明らかに正規直交条 件を満たす．また，便宜上，原点からei方向へ向かう軸を第i軸とよぶことにする．
これらn個の正規直交ベクトル{ei}ni=1に対し，原点に関する回転演算を施すことによ り，正規直交性を保つ任意のn個の探索個体を生成することを考える．たとえば，あるn 次元ベクトルを第1軸から第2軸に向かって角θ12回転させる演算は，そのベクトルに回 転行列
R12(θ12) =
cosθ12 −sinθ12 O sinθ12 cosθ12
1 . ..
O 1
(4.29)
を作用させることと等価である．これを一般化すると，任意のベクトルを第i 軸から第j 軸に角θij回転する行列Rij(θij)も同様に与えることができ，その(k, l)成分を{Rij(θij)}kl
と表記すれば，
{Rij(θij)}kl =
cosθij, k =l, k =i, j sinθij, k =j, l =i
−sinθij, k =i, l=j 1, k =l, k 6=i, j
0, otherwise
(4.30)
となる．このような回転演算は直交変換であり，任意の2つの軸に関する相異なる回転は
n(n−1)
2 通り存在する．
したがって，正規直交ベクトル{ei}ni=1のそれぞれに，相異なるn(n2−1) 回の回転演算を 施して得られるn個のベクトル
wi = Ãn−1
Y
j=1
Yn k=j+1
Rjk(θjk)
!
ei, i= 1,· · · , n (4.31) を定義すると，やはり正規直交条件
wTi wj =
1, i=j 0, i6=j
i, j = 1,· · · , n (4.32)
を満足する．(4.31)式の変換は，(4.12)式の変換に直交性を加味して一般化したとも解釈 されるものである．ここで，正規直交ベクトル{wi}ni=1は，n(n2−1) 個の回転角の組に依存 して定まるので，これらをまとめた変数
θ={θij}, i= 1,· · ·, n−1, j =i+ 1,· · · , n (4.33) に関するベクトル値関数とみることができ，たとえばwiをwi(θ)のように表記する．ま た，n(n2−1)個の回転行列の積もθの関数として，
R(θ) = Ãn−1
Y
j=1
Yn k=j+1
Rjk(θjk)
!
(4.34) と表記することにする．
このようなR(θ)，{wi(θ)}ni=1を用いれば，主成分分析の制約付最適化問題(4.27)は，
minθ Jtotal(θ) = Xn
i=1
J(wi(θ)) (4.35a)
where J(w) =wTC2w−(wTCw)2 (4.35b) wi(θ) =R(θ)ei, i= 1,· · ·, n (4.35c) のとおり，θに関する無制約最適化問題に定式化し直すことができる．ここで，(4.35c)式 は，θに従属して{wi(θ)}ni=1が与えられる関係を意味し，付加的な制約条件ではないこ とに注意されたい．
問題(4.27)は{xi}ni=1に対する制約付最適化問題であったのに対し，問題(4.35)はθに 関する無制約最適化問題である．n個のベクトル{wi(θ)}ni=1は自動的に正規直交条件を 満足し，θの最適解θ∗に対応する{wi(θ∗)}ni=1がn個の主成分方向を与える．
そのほか特筆すべきことは，問題(4.27)では，n次元ベクトルをn個与えるので，独立 変数はn2個必要であったのに対し，問題(4.35)の独立変数の個数は回転角の数に等しく
n(n−1)
2 個であり，決定変数の個数が半数未満に減じられている．独立変数減少の内訳は，
n個のベクトルをノルムを1に規格化するためのn本の等式条件，およびn個のベクトル が相互に直交化するためのn(n2−1)本の等式条件であり，これらを解の形へ組み込むことで 直接反映させることが探索の冗長性を排除する効果ももたらす．
問題(4.35)は，(2.21)の無制約最適化問題の一種であり，これを解く最急降下法モデル は，まさしく2.3節で与えた非線形変数変換勾配系である．
具体的に，関数J(wi(θ))を，θの成分θjkで微分すると，
∂J(wi(θ))
∂θjk
= ∂J(wi(θ))
∂wi
∂wi(θ)
∂θjk
=¡
2C2wi(θ)−4wTi (θ)Cwi(θ)Cwi(θ)¢T ∂R(θ)
∂θjk ei (4.36) を得る．(4.36)式右辺のθjkに関する微分において，R(θ)のうちθjkが関与するのはRjk(θjk) のみであるから，Rjk(θjk)をθjkに関して微分すると，その(l, m)成分は
½∂Rjk(θjk)
∂θjk
¾
lm
=
−sinθjk, l =m, l =j, k cosθjk, l =k, m=j
−cosθjk, l =j, m =k
0, otherwise
(4.37)
となる．ここで，(l, m)成分が
{Sjk}lm =
1, l =k, m =j
−1, l =j, m=k 0, otherwise
(4.38)
となる行列Sjkを定義すると，(4.37)式は
∂Rjk(θjk)
∂θjk =SjkRjk(θjk) (4.39)
とあらわすことができる．
ところで，(4.34)式において行列積の形であらわしたR(θ)で，Rjk(θjk)より左側の行列 積をLeft(R(θ))jk，右側の行列積をRight(R(θ))jk とあらわすことにすると，(4.34)式は あらためて
R(θ) = Left(R(θ))jk·Rjk(θjk)·Right(R(θ))jk (4.40) となる．この記法を用いると，(4.36)式のθjkに関する微分は，
∂R(θ)
∂θjk = Left(R(θ))jk ·SjkRjk(θjk)·Right(R(θ))jk (4.41)
と表される．これを(4.36)式へ代入して，
∂J(wi(θ))
∂θjk = 2©
C2wi(θ)−2wi(θ)T(Cwi(θ))2ªT
·Left(R(θ))jk·SjkRjk(θjk)·Right(R(θ))jkei (4.42) を得る．ただし，wi(θ)は(4.35c)式により与えられる．
したがって，問題(4.35)に対する連続時間勾配法モデルは，
dθjk(t)
dt =−∂Jtotal(θ(t))
∂θjk
=− Xn
i=1
∂J(wi(θ(t)))
∂θjk
=− Xn
i=1
2©
C2wi(θ(t))−2wi(θ(t))T ·(Cwi(θ(t)))2ªT
·Left(R(θ(t)))jk ·SjkRjk(θjk(t))·Right(R(θ(t)))jkei (4.43) となる．数値計算のための探索初期点は，θ(0) = 0として差し支えなく，無制約勾配法
モデル(4.43)にしたがってθを変化させ，最適解たる平衡点に至ったときのθの値θ∗に
対して計算した{wi(θ∗)}ni=1が，正規直交条件を満たす主成分方向を与える．