多様体上の非線形力学系による 制約条件付最適化に関する研究
平成
16
年度増 田 和 明
目 次
第
1
章 序論1
1.1
本論文の背景と目的. . . . 1
1.2
本論文の構成. . . . 4
第
2
章 直積集合に束縛された非線形力学系による制約条件付最適化6 2.1
はじめに. . . . 6
2.2
非線形作用素勾配系モデル. . . . 8
2.3
非線形変数変換勾配系モデル. . . . 14
2.4
障壁法による力学系の安定化. . . . 20
2.5
シミュレーション結果. . . . 26
2.6
第2章の結論 . . . . 33
第
3
章 多様体上に束縛された非線形力学系による制約条件付最適化34 3.1
はじめに. . . . 34
3.2
単位シンプレックス上の制約条件付最適化. . . . 36
3.2.1
非線形作用素勾配系モデル. . . . 36
3.2.2
非線形変数変換勾配系モデル. . . . 46
3.3
単位超球面上の制約条件付最適化. . . . 52
3.3.1
非線形作用素勾配系モデル. . . . 52
3.3.2
非線形変数変換勾配系モデル. . . . 57
3.4
シミュレーション結果. . . . 60
3.4.1
単位シンプレックス上領域における制約条件付最適化. . . . 60
3.4.2
単位超球面上領域における制約条件付最適化. . . . 65
3.5
第3章の結論 . . . . 70
第
4
章 超球面上の勾配系力学モデルによる主成分分析の実現71 4.1
はじめに. . . . 71
4.2 Euclid
ノルムを保存する制約条件付最適化. . . . 73
4.2.1
非線形作用素勾配系モデル. . . . 73
4.2.2
非線形変数変換勾配系. . . . 76
4.3
主成分分析を実現する勾配系力学モデル. . . . 78
4.3.1
制約条件付最適化問題としての主成分分析の定式化. . . . 78
4.3.2
非線形変数変換勾配系による主成分分析の計算モデル. . . . 80
4.4
シミュレーション結果. . . . 85
4.4.1 3
次元主成分分析. . . . 85
4.4.2 10
次元主成分分析. . . . 89
4.5
第4章の結論 . . . . 92
第
5
章 慣性付力学系モデルによる制約条件付最適化93 5.1
はじめに. . . . 93
5.2
慣性付非線形作用素勾配系モデル. . . . 94
5.3
慣性付非線形変数変換勾配系モデル. . . . 97
5.4
シミュレーション結果. . . . 99
5.4.1
有界直積集合における制約付最適化. . . . 99
5.4.2
有界多様体上における制約付最適化. . . . 109
5.5
第5章の結論 . . . . 119
第
6
章 離散化勾配系モデルのカオスを用いた制約条件付大域的最適化120 6.1
はじめに. . . . 120
6.2
離散化勾配系モデルとそのカオス特性. . . . 122
6.2.1
非線形作用素勾配系の離散化モデル. . . . 123
6.2.2
非線形変数変換勾配系モデルの離散化. . . . 124
6.2.3
有界領域における離散化勾配系モデルの分岐特性. . . . 125
6.3
カオス発現領域のパラメータ推定. . . . 131
6.3.1 3
周期軌道推定法. . . . 131
6.3.2
不変領域上限値推定法. . . . 135
6.4
カオス徐冷法による大域的最適化. . . . 137
6.4.1
通常型カオス徐冷法とその課題. . . . 137
6.4.2
ハイブリッド型カオス徐冷法. . . . 140
6.5
シミュレーション結果. . . . 144
6.5.1
単位超立方体領域を一般化した直積集合領域での大域的最適化. . . 144
6.5.2
単位シンプレックス上領域での大域的最適化. . . . 158
6.6
第6章の結論 . . . . 172
第
7
章 結論173
付 録
A Li-Yorke
の定理とその証明185
付 録
B
山口らの定理とその証明188
第 1 章 序論
1.1
本論文の背景と目的最適化手法は,工学の広範な領域におけるシステムの設計・計画の場で定式化される,
いわゆる最適化問題を解くための基盤的かつ重要な技法であり,種々の手法が提案・改良 されつづけている.しかしながら,あらゆる最適化問題を統一的な枠組みで解くための万 能な最適化手法は現在のところ存在せず,最適化問題をそれらの構造によって分類し,類 似構造を有するサブクラスごとに解法が提案されて,それらの性能が検討・評価されるの が通例である
[26].本論文が対象とする最適化手法は,変数のとりうる値がある領域に制
限される,いわゆる制約条件が課せられ,かつ目的関数が非線形関数で与えられた最適化 問題に対する「非線形最適化手法」である[23, 65].
非線形最適化問題において,決定変数の領域が実空間内の連続領域であって,目的関数 が連続微分可能な場合,目的関数の勾配情報を用いた勾配系モデルを最適化計算のモデ ルとして利用することができる.また,制約条件が課せられている場合には,この制約条 件を陽に考慮した線形化手法
[90]・射影手法 [85, 86]・縮約勾配法 [49]
などが用いられる.さらに,勾配系モデルを直接用いる場合には,この制約条件の侵害に対する罰則効果や侵 害防止のための障壁効果を目的関数に付加的に組み込んだ拡大目的関数を構成し,この関 数を無制約の下で最適化する問題として元の制約条件付問題を緩和変換するのが一般的 である
[3, 7, 20, 64, 91].
一方,近年において非線形力学系の研究が盛んにおこなわれ,たとえばカオスに代表 される非線形力学系固有の性質に関する解析研究において顕著な成果があげられている
[40, 41, 42, 93, 100].とくに,神経生理学や数理生態学,統計力学において得られた現象
論的モデルの多くが,非線形力学モデルである[22, 35, 36, 81, 88].また,非線形最適化
手法の勾配系モデル自体も,非線形力学系の一種とみなすことができる.ほかにも,自然 現象に対して最適化手法の枠組みから解釈することが試みられ,多くの知見が得られている
[8, 9, 84].このような最適化手法との関連性が指摘されている現象論的モデルに共通
する特徴として,
•
非線形力学モデルの背後に存在する最適化問題が,制約条件付非線形最適化問題で あること,•
非線形力学モデルの時間発展において,変数の軌道が厳密に制約条件を充足する性 質を有していること,があげられる.すなわち,非線形最適化手法との相関をもつ現象論的非線形力学モデルの 多くは,計算機言語によるアルゴリズムの記述によって最適化問題の制約条件を陽に考 慮するモデルではなく,かつ制約条件の侵害に対する罰則効果や侵害防止のための障壁効 果を付加した緩和問題を解くための近似的なモデルでもない,いわば第
3
のタイプとし て,制約条件が形成する有界領域に陰的かつ厳密に束縛された力学モデルということがで きる.そこで,本論文における第
1
の研究目的として,制約条件付非線形最適化問題に対して,制約条件を陽には考慮せずに,また原理的には緩和法にもよらずに,制約条件に厳密に 束縛された力学系モデルの定式化,およびその特性解析を統一的な枠組みから議論する.
具体的には,制約条件への束縛機能を可変計量による非線形作用素として勾配系モデルに 取り込んだ「非線形作用素勾配系モデル」と,無制約な空間の定義域から制約条件が規定 する有界領域を値域とする非線形写像を介した勾配系である「非線形変数変換勾配系モデ ル」を考え,これらのモデルの一般的な定式化をおこなう.これら両モデルは相互に対応 づけることも可能であるから,制約条件に応じて定まる計量のもとで一般化された勾配 系とみなすことが可能であり
[4],有界領域が Euclid
空間における超平面・超球面上で定 義される勾配系を含め,包括的に「多様体上の勾配系」と称することができる.以下では さらに,数種類の具体的な制約条件に対して,これらのモデル表現や演算回路実現を試み る.そのうえで,これらのモデルがまさに前述の神経生理学や数理生態学,統計力学にお ける現象論的モデルの一部であることを事例別に論じる.一方において,非線形力学モデルによって記述される現象は,その非線形性に起因する 様々な特異的な特徴を有している.その特徴の一つが,系の不安定化に伴って生ずる非線 形性固有の現象であり,たとえば非線形な物理現象や社会現象に見出される不安定性を,
カオス理論を用いて解明する試みがなされている
[5, 27].ところが,このような不安定性
は,有限な計算時間内での計算精度の向上を希求する古典的な計算論の立場からすれば,計算モデルとしては絶対的に排除されるのが一般的である.すなわち,計算モデルのある 種の平衡状態として計算結果を精度よく算出するには,非線形現象の不安定性こそ妨げに なるものである.しかしながら,安定な勾配系モデルは,多峰性関数の局所的最適解への 安易な停留をもたらし,大域的な最適解の探索にとって妨げになることもよく知られた事 実である.したがって,力学系としての計算モデルの安定平衡点である局所的最適解への 引き込み現象を回避することを目的として,計算モデルとしての非線形力学モデルをむし ろ恣意的に不安定化させ,そこに発現するまったく新しい特性を効果的に大域的最適化へ 利用する可能性を見出すことが期待される.
そこで,本論文の第
2
の目的として,前述の第1
の目的により議論した非線形力学系としての勾配系モデルにおいて,不安定性を発現させたときに呈する特性を利用した,大域 的最適化のための計算モデルを論じることにする.とくに,非線形力学モデルにおいて不 安定化を実現する手法として,
1.
連続時間勾配系モデルに慣性項を付加した非線形振動モデルを不安定化する手法,2.
連続時間勾配系モデルに差分化を施した非線形離散化モデルを不安定化する手法,を取り上げる.前者に関しては,畳み込み積分型勾配系から慣性項付勾配系モデルとその 内部状態表現モデルを導出できることを示す.これらのモデルにおいて,制約条件の与え る有界領域に束縛されながら生じる非線形振動によって,局所的最適解からの離脱現象を 観測することができる.さらに,無制約最適化問題に対し慣性項付勾配系モデルの散逸項 を非線形化することによって,より能動的に局所的最適解への引き込みを回避する力学系
モデル
[24, 95]
の考え方を援用すると,有界領域内における慣性項付勾配系モデルでも散逸項の非線形化を行うことによって,制約条件付大域的最適化も比較的容易に実現するこ とができる
[72].
他方,本論文においては,後者の手法として,連続時間勾配系モデルを単純なオイラー 法で差分化して得られる離散時間勾配系モデルにおいて,差分化ステップ幅を粗くしたと きに生成されるカオスを大域的最適化のための計算モデルに用いた,「カオス大域的最適 化手法」を提案する.ところで,非線形力学モデルの不安定化と称しても,そのことは状 態量の発散を意味するものでは決してない.とくに計算手法の立場からは,その軌道があ る有界領域に束縛された状態で不安定化し,ある種の稠密さでもってその領域内を走査す ることによって,その領域を制約条件とする最適化問題の大域的最適解が探索されること が望まれる.非線形力学系の不安定化によるカオス軌道の発生と,その軌道が制約条件 の規定する多様体の有界領域内に束縛されることは,まさに表裏一体の関係にあり,カオ ス力学系モデルによる大域的最適化は,制約条件付非線形最適化問題のための制約条件 を陰的に考慮した計算モデルにほかならない.したがって,本論文の第
1
の目的として定 式化した2
種類の最適化計算モデル「非線形作用素勾配系モデル」と「非線形変数変換勾 配系モデル」は,そのまま離散化することによって不安定な離散時間力学系モデルとなり[29, 103],離散化パラメータの調整によって,制約条件が規定する有界領域内に束縛され
たカオス力学系となる.したがって,カオス大域的最適化手法の有力な計算モデルとして 利用できることを,本論文の主要な成果として強調する.ところで,カオス最適化手法は,カオスニューラルネットワーク
[1]
と称する形で初め て提案されてすでに久しい.これまでに提案されたそれらのモデル[67, 68, 94, 96]
は,単 位超立方体領域に束縛されたカオス力学系モデルであり,変数成分間に干渉がない直積空 間を制約条件とする最適化問題のみに限定されるモデルである.これに対して本論文で は,とくに変数成分間に相互干渉が存在する単位シンプレックス領域や単位超球面上に束縛されたまったく新しいカオス力学系を提案し,それらによる制約条件付大域的最適化手 法の計算特性について具体的に考察する.これらの新しいモデルの提案こそが,第
1
の目 的を踏まえることによって達成された第2
の目的における最大の成果であるといえる.1.2
本論文の構成本論文の構成は以下のとおりである.
第
2章および第 3章は,本論文の第 1
の目的である制約条件付非線形最適化問題を解くための非線形力学モデルとして, 「非線形作用素勾配系モデル」と「非線形変数変換勾 配系モデル」と称する
2
種類の勾配系モデルを統一的な枠組みで論じるとともに,単位超 立方体領域内へ閉じ込める制約条件に対して,これらの具体的表現を与えるとともに,現 象論的モデルとの関連性を示す.とくに,制約条件を陰的に考慮しつつその領域に厳密に 束縛される非線形力学系を,内部状態変数を用いて等価表現することによって,演算回路 として実現可能であることを示している.とくに第
2章では,直積集合への拘束を制約条件として,単位超立方体領域で与えた場
合を統一的に考察し,いわゆる
Hopfield
型ニューラルネットワークを演算回路実現した モデルの特殊な場合として位置づけている.なお,非線形作用素勾配系モデルの内部状態 変数,および非線形変数変換勾配系モデルの無制約化変数に関する安定性を確保すること を目的とした障壁法についても言及している.また,第
3章では,変数成分間に相互干渉が存在する単位シンプレックス領域や非負領
域内の単位超球面上に束縛される非線形力学系モデル,およびそれらと等価な内部状態表 現モデルを新たに提案したうえで,それらが制約条件付非線形最適化の計算モデルとし て有効であること確認している.とくに,単位シンプレックス上領域に束縛された力学系 と,集団遺伝学における進化現象を記述する複製方程式モデルとの関連性についても論じ ている.
第
4章は,制約領域に束縛された非線形力学系モデルによる最適化の応用例として,主
成分分析を取り上げている.主成分分析の力学系としては,原始的かつ不安定なモデルで ある
Hebb
モデルや,安定化のためにLagrange
緩和の概念を導入したOja
のモデルなど,様々なモデルが提案されているが,ここでは主成分方向は正規直交性を満たすことから,
非線形変数変換勾配系として単位超球面上の回転演算を考えて解構造を陰的に定める変 換関数を導入し,単位超球面への束縛のもとで主成分方向を同時並列的に探索する力学系 モデルを提案している.
第
5章では,畳み込み積分型勾配系から慣性項付勾配系モデルを導出している.ここで
は,第
2章で導入した 2
種類の非線形力学モデルをもとに,有界な制約領域に束縛された慣性項付勾配系モデルと,それらの内部状態変数表現モデルの導出をおこなう.さらに,
これらの演算回路実現を試みたうえで,数値シミュレーションを通じて,有界領域内で慣 性作用から惹起される非線形振動による局所的最適解からの離脱現象を確認している.
第
6章は,第 2〜5章から帰結する形で,これらの章で考察した連続時間力学系のオイ
ラー差分化による離散時間勾配系モデルを導入している.とくに,差分化のステップ幅を カオス特性の制御パラメータとしたとき,不安定化による分岐特性やカオス徐冷法の手 順,およびカオス現象を創発する制御パラメータの推定手法などを議論したうえで,単位 シンプレックス領域や非負領域内の単位超球面上に束縛されたまったく新しいカオス力学 系を提案している.そして,それらによる制約条件付大域的最適化手法の計算特性につ いて考察し,制約条件付非線形最適化の計算モデルとしてのそれらの有用性を確認して いる.
第
7章は,本論文全体の結論と今後に向けた課題について述べている.
第 2 章 直積集合に束縛された非線形力学 系による制約条件付最適化
2.1
はじめに本章では,制約付非線形最適化問題を解くさい,その条件を勾配系モデルへ直接的に組 み込んで変数を制約領域内に拘束させる,有界領域内で定義される勾配系の構築法につい て議論する.制約付最適化をおこなうための計算手法としては,制約条件からペナルティ 関数を生成し目的関数に付加した関数を与え,それを新たな目的関数とする無制約最適化 として解く
Lagrange
緩和法が知られている[3, 7, 20, 64, 91].しかしながら,最適化は工
学的問題を解決するための数理科学的手段という見方が可能なほか,物理現象を背景と して眺めることができる.この文脈では,具現化される現象が,背後では物理的量の最適 化に通じる力学的法則に支配される.この場合,物理現象の目的を記述する最適化問題に 対し,その問題を解く数理モデルは,現象を支配するシステムを記述する枠組みとして理 解される.また,この最適化に現象論の立場から制約条件が課されると解釈すれば,現象 を実現するための数理モデルもまた,厳密な意味で制約条件を満たすことが要求される.したがって,緩和によって制約条件を解消する最適化計算手法を考えるのではなく,制約 条件に支配された力学的システムとして勾配系モデルを構成する統一的枠組みを構築す ることが,現象論的モデルを構築・理解するうえで有益な立場であるといえる.
この目的のため,本章ではこのような制約付最適化問題に対し,有界領域に閉じ込めら れた力学的システムとして,「非線形作用系勾配系」および「非線形変数変換勾配系」な る
2
種類の勾配系モデルを一般的な枠組みとして導入する.これらは,制約条件に応じる 計量を与えたRiemann
空間における,一般化された勾配系とみなすことが可能であって,包括的に「多様体上の勾配系」とよべる力学モデルである.
次に,制約条件として,比較的単純かつ代表的な直積集合領域である単位超立方体内部 への拘束を考えて,制約条件付非線形最適化問題に対して目的関数を最小化する軌道を 制約領域に閉じ込めた非線形力学モデルの具体的表現を与えながら,2種類の勾配系に関 する統一的議論をすすめる.また,これらの勾配系モデルが演算回路として相互結合型 ニューラルネットワークのモデルを実現する数理モデルとして位置づけられることも述 べる.
以下の議論では,制約条件付最適化問題
min
xE(x) (2.1a)
subject to x ∈ X (2.1b)
を考える.ただし,x
= [x
1, · · · , x
n]
T で,関数E
は連続微分可能であるとする.そして,制約領域
X
の具体例として,単位超立方体領域X = { x | 0 ≤ x
i≤ 1, i = 1, · · · , n } (2.2)
を考え,この領域内部に閉じ込めた関数E
を最小化する軌道を生成する連続時間力学系 モデルを考える.2.2
非線形作用素勾配系モデルまず,単純な連続時間力学系モデルとして,最急降下法のモデル
dx(t)
dt = − c · ∇ E(x(t)), c > 0 (2.3)
の軌道を
(2.1b)
式の領域X
に閉じ込めるため,xに関する関数行列G(x)(n × n
行列)で関数
E
の勾配ベクトル∇ E(x)
を写像したモデルdx(t)
dt = − c · [G(x(t)) ∇ E(x(t))], c > 0 (2.4)
を考える.ただし,目的関数の勾配∇ E(x)
は縦ベクトルとする.(2.4)式が制約領域X
において関数E
の値を減少させてゆくモデル(以下,降下法モデルと称する)であるた めの十分条件は,条件2.1
で与えられる.条件
2.1 (2.4)
式の関数行列G(x)
において,以下が成り立つ.(i)
制約の内部領域:intX
において半正定1,(ii)
制約の境界領域:bdX
において特異,すなわちdet G(x) = 0.
また,(2.4)式のモデルで右辺を
0
とおくことにより,条件
2.2
力学モデル(2.4)
式の平衡点では,目的関数E
の勾配∇ E(x)
が,(a)または(b)
のいずれかを満たす.(a) ∇ E(x) = 0,
(b) ∇ E(x) 6 = 0
かつdet G(x) = 0.
がなりたつ.上の
(a)
の場合は,制約条件に関係なく,もともと目的関数E
が領域X
に 有する極小点であり,(b)の場合は活性な制約条件が存在するために生じた極小点である.さらに,
G(x) =
g
11(x) · · · g
1n(x) .. .
g
n1(x) · · · g
nn(x)
(2.5)
1本論文では,最適解が制約領域内部で関数行列G(x)の特異点として与えられる場合を含めて議論するため, 「正 定」より弱い条件である「半正定」とする.この場合は,領域Xへの制約として等式条件を含むときに起こり,3章の
とおいて成分表現すると,
dx
i(t) dt = − c
X
n j=1g
ij(x(t)) ∂E(x(t))
∂x
j, i = 1, · · · , n (2.6)
となる.このとき,(2.6)式の右辺を0
とおくことにより,条件
2.3
力学モデル(2.6)
式の平衡点では,以下の(a)
または(b)
の条件を満たす.(a) ∂E (x)
∂x
i= 0, i = 1, · · · , n,
(b) ∃ k ∈ { 1, · · · , n } ∂E(x)
∂x
k6 = 0
かつX
nj=1
g
ij(x) ∂E(x)
∂x
i= 0, i = 1, · · · , n.
を得る.なお,条件
2.3
は,条件2.2
を成分表現したものと等価である.ところで,内部状態量
u = [u
1, · · · , u
n]
T を導入し,これを非線形出力関数f : R
n→ X
を用いた出力量x
i(t) = f
i(u(t)), i = 1, · · · , n (2.7)
としてx
を観測するモデルを考える.(2.7)式の両辺をt
で微分すると,dx
i(t) dt =
X
n j=1∂f
i(u(t))
∂u
jdu
j(t)
dt , i = 1, · · · , n (2.8)
であるから,(2.6)式との比較により
du
i(t)
dt = − c · ∂E(x(t))
∂x
i, (2.9a)
∂f
i(u(t))
∂u
j= g
ij(x(t)), (2.9b)
i = 1, · · · , n, j = 1, · · · , n
が得られる.このとき,(2.9)式のモデルへ条件
2.3
を適用すると,(a)
条件2.3 (a)
を満たす平衡点では,(2.9a) 式よりdu
i/dt = 0, i = 1, · · · , n
が成立す るので,対応する内部状態量もまたその変数空間における平衡点となる.(b)
条件2.3 (b)
を満たす平衡点では,(2.9a) 式の少なくとも1
つの成分で右辺が0
でな いため,その成分に関しては内部状態量が停止しない.ことが理解される.すなわち,(b)の場合,勾配系モデルの決定変数が収束しても,内部 状態量が発散することがあり得る.
そのうえ,
∂x
i∂u
j= g
ij(x), i = 1, · · · , m, j = 1, · · · , n (2.10)
を満たす関数f
を解析的に見出すことができれば,(2.7)式と(2.9a)
式を組み合わせたモデルを
(2.6)
式の等価な内部状態表現モデルとして与えることができる.このとき,内部状態表現モデルで
f
は領域X
上で定義される全射な関数であり,決定変数x
がf
を通じ て観測されるため制約条件を充足する構造をもつ.さらに,(2.4)式の非線形力学モデル に対し,等価な内部状態表現モデルは,図2.1の演算回路として実現することができる.
ところで,非線形作用素勾配系モデル
(2.6)
は,連続時間力学系モデルとしては常に制 約条件を充足するが,数値計算を援用して(2.6)
式を直接的に解くと,離散化のために作 用素の機能が損なわれ制約条件を侵害することがあり得る.しかし,等価な内部状態表現 モデルでは,関数f
が決定変数x
の閉じ込め効果をもつので,数値計算の精度に関係な く制約条件の充足が保証され,実際の最適化計算にとって有益である.また,ここで導入 した内部状態表現モデルは,6章で論じる離散化カオス力学系を利用した制約付最適化手 法において改めて利用する.なお,関数
f
が全単射な関数であれば,その逆関数f
−1も存在し,(2.7)式およびu
i(t) = f
i−1(x(t)), i = 1, · · · , n (2.11)
によって決定変数と内部状態量を1
対1
に対応づけることができる.ただし,(2.10)式が 解析的に解け,関数f
を解析的に見出すことができるかは非線形作用素G(x)
によって決 まり,解析的な内部状態表現モデルが常に与えられるわけではない.以下では,制約領域
X
の例として,直積集合として記述される(2.2)
式の単位超立方体 領域に軌道を閉じ込めるための関数行列G(x)
と,これに対応する(2.10)
式を満たす関数f (u)
を考える.x
iが0
か1
の境界に近いほど対応する勾配成分ごとに縮退させる作用をもつ行列として,g
ij(x) =
x
i(1 − x
i), j = i,
0, j 6 = i,
j = 1, · · · , n (2.12)
を考える.このとき,0≤ x
i≤ 1
より,g (x) ≥ 0, i = 1, · · · , n (2.13)
を満たす.したがって,対角行列の性質から,(2.12)式を成分とする
(2.5)
式の関数行列G(x)
は,x∈ X
において半正定である.このとき,(2.6)式は,
dx
i(t)
dt = − cx
i(t) { 1 − x
i(t) } ∂E(x(t))
∂x
i, i = 1, · · · , n (2.14)
となる.(2.12)式を(2.10)
式に代入した微分方程式∂x
i∂u
j=
x
i(1 − x
i), j = i,
0, j 6 = i,
j = 1, · · · , n (2.15)
を解析的に解くと,x
i= f
i(u) = 1
1 + exp( − u
i) , i = 1, · · · , n (2.16)
が得られる.この関数f
iの値域は区間(0, 1)
であり,決定変数が制約条件を充足すること が確かめられる.また,関数f
は全単射であり,逆関数がu
i= f
i−1(x) = log 1 − x
ix
i, i = 1, · · · , n (2.17)
で与えることができる.なお,この
G(x)
の逆行列M (x) = G(x)
−1= diag[1/g
ii(x)] (2.18)
は,制約領域の内部からその境界に近づくにつれて無限大に単調増加する計量を表す.ところで,最適化問題
(2.1)
の制約条件X
が定義する空間をRiemann
多様体として 眺めることができれば,関数行列G(x)
をRiemann
計量で与えた場合,(2.3)式右辺のG(x) ∇ E(x)
は甘利らによって提案された自然勾配と等価であり,Riemann多様体上での 最急方向を与える[4].
さらに,目的関数
E
を2
次関数E(x) = 1
2 x
TW x + θ
Tx = 1 2
X
n i=1X
n j=1w
ijx
ix
j+ X
ni=1
θ
ix
i(2.19)
where W =
w
11· · · w
1n.. . . ..
w
n1w
nn
, w
ij= w
ji, i, j = 1, · · · , n, θ = [θ
1, · · · , θ
n]
Tとおくと,(2.9a)式は,
du
i(t)
dt = − c · (
nX
j=1
w
ijx
i+ θ
i)
, i = 1, · · · , n (2.20)
となる.とくにc = 1
とおいた場合,− W
を結合係数,− θ
を閾値とする相互結合ニュー ラルネットワーク型の演算回路として,図2.2に図示することができる.この場合,(2.16)
式のf
がニューラルネットワークのニューロン素子の出力関数として常用されるシグモ イド関数となり,図2.2はまさしく Hopfield
型ニューラルネットワーク[35, 36]
で,1次遅 れ項を有さないモデルと等価である.また,Hopfield型ニューラルネットワークは,さら に統計力学との関連において,n個のイジングスピン系で,スピンi
の2
値状態変数に平 均場近似を適用した連続量をx
iにあてはることにより,系の平均エネルギーE
を最小化 するモデルとの等価性を見出すこともできる[79, 80].
図
2.1:
非線形作用素勾配系モデルの演算回路図
2.2:
相互結合ニューラルネットワーク型の演算回路2.3
非線形変数変換勾配系モデル制約条件付最適化問題
(2.1)
に対する別の有界な非線形力学系モデルとして,変数変換 にもとづくモデルを導出するために,問題(2.1)
の変数x
を,1階連続微分可能である全 射な変換関数φ : R
m→ X
を用いて変換した無制約最適化問題min
yE(φ(y)) (2.21a)
subject to y
i∈ ( −∞ , ∞ ), i = 1, · · · , m (2.21b)
を考える.ここでは,変数y
に制約が課せられていない代わりに,関数φ
の値域が有界 領域X
に限定されている.すなわち,変数y
を関数φ
を通じて観測される問題(2.1)
の 変数x
の軌道は,つねに領域X
に閉じ込められる.問題
(2.21)
に対する最急降下法による力学系モデルはdy
i(t)
dt = − c ∂E(φ(y(t)))
∂y
i= − c X
nj=1
∂E (x(t))
∂x
j∂φ
j(y(t))
∂y
i, i = 1, · · · , m (2.22)
である.ただし,x(t) = φ(y(t)) (2.23)
である.(2.22)式の右辺を
0
とおくことにより,条件
2.4
力学モデル(2.22)
の平衡点は,以下の(a),(b)
のいずれかの条件を満たす.(a) ∂E (x)
∂x
i= 0, i = 1, · · · , n,
(b) ∃ k ∈ { 1, · · · , n } ∂E(x)
∂x
k6 = 0
かつX
nj=1
∂φ
j(y)
∂y
i∂E(x)
∂x
i= 0, i = 1, · · · , n.
を与えることができる.
他方,yに関する関数行列
H(y)(m × n
行列,m≤ n)
H(y) =
∂φ1(y)
∂y1
· · ·
∂φ∂yn(y)1.. .
∂φ1(y)
· · ·
∂φn(y)
(2.24)
を定義すると,(2.22)式は,
dy(t)
dt = − c[H(y(t)) ∇ E(x(t))], c > 0 (2.25)
と表現することができる.したがって,条件
2.5
力学モデル(2.25)
の平衡点では,以下の(a),(b)
のいずれかの条件を満たす.(a) ∇ E(x) = 0,
(b) ∇ E(x) 6 = 0
かつrank H(y) < m.
が条件
2.4
と同値である.ところで,(2.22)式を
x
に関する力学系に戻すことを試みると,dx
i(t) dt =
X
m j=1∂φ
i(y(t))
∂y
jdy
j(t) dt
= − c X
mj=1
X
n k=1µ ∂φ
i(y(t))
∂y
j∂φ
k(y(t))
∂y
j¶ ∂E(x(t))
∂x
k= − c X
n k=1X
m j=1µ ∂φ
i(y(t))
∂y
j∂φ
k(y(t))
∂y
j¶ ∂E(x(t))
∂x
k= − c X
nj=1
"
mX
k=1
µ ∂φ
i(y(t))
∂y
k∂φ
j(y(t))
∂y
k¶# ∂E(x(t))
∂x
j, i = 1, · · · , n (2.26)
となる.ここで,g
ij(x) =
"
mX
k=1
µ ∂φ
i(y(t))
∂y
k∂φ
j(y(t))
∂y
k¶#
(2.27) i = 1, · · · , n, j = 1, · · · , n
のように
x
の関数とみれば,(2.26)式は(2.6)
式と同一の形となる.このとき,(2.26)式,(2.27)
式は,(2.24)式の行列H(y)
を用いてそれぞれdx(t)
dt = − c[(H(y(t))
TH(y(t))) ∇ E(x(t))], c > 0 (2.28)
G(x) = H(y)
TH(y) (2.29)
と表現される.したがって,実対称行列に対して知られる以下の定理
定理
2.1 n × n
実対称行列A = diag[a
ij]
において,A= B
TB
と書けるようなm × n
実行列
B = [b
ij](m ≤ n)が存在するならば,A
は半正定である.から,(2.29)式によって与えられる関数行列
G(x)
は,x∈ X
において半正定である.と くに,定理2.2
は行列B
に何ら特殊な条件を課していないので,行列G(x)
の半正定性は,任意の変換行列
H(y)
に関して成り立つことに注意されたい.すなわち,(2.28),(2.29)
式 により等価表現される非線形変数変換勾配系では,常に条件2.1
が満足されるので,降下 法モデルであることが当然に成り立つ.また,(2.22)式の非線形力学モデルは,図
2.3の演算回路として実現することができる.
さらに,関数
φ
が全単射であれば,その逆関数が存在して,y(t) = φ
−1(x(t)) (2.30)
と与えられ,(2.23)式とともに変数x
とy
を相互に1
対1
に対応づけることができる.以下では,具体的に
x
i= φ
i(y
i), i = 1, · · · , n (2.31)
として,(2.27)式がg
ij(x) =
·³
dφi(yi) dyi´
2¸
, j = i
0, j 6 = i
(2.32)
となる場合で,単位超立方体領域への閉じ込めの場合を考えれば,
x
i= φ
i(y
i) = 1
2 (sin y
i+ 1) (2.33)
とおくと
[37],
dφ
i(y
i) dy
i= 1
2 cos y
i= ± p
x
i(1 − x
i) (2.34)
であるから,
g
ii(x) =
"µ
dφ
i(y
i) dy
i¶
2#
= x
i(1 − x
i) (2.35)
である.やはり,関数
φ
iの有界性,および定理2.1
により行列G(x)
の半正定性が確かめ られる.一方において,(2.23)式の関数
φ
iとして,(2.16)式のf
iを設定すると,g
ij(x) =
"
mX
k=1
µ ∂f
i(y(t))
∂y
k∂f
j(y(t))
∂y
k¶#
=
·³
dfi(yi) dyi´
2¸
, j = i
0, j 6 = i
(2.36)
となり,これから
(2.6)
式の新しいモデルを作ることができる.単位超立方体領域への閉 じ込めの場合を考えると,df
i(y
i)
dy
i= x
i(1 − x
i), (2.37)
g
ij(x) =
x
2i(1 − x
i)
2, j = i
0, j 6 = i
(2.38)
より,
dx
i(t)
dt = − c { x
i(t) }
2{ 1 − x
i(t) }
2∂E(x(t))
∂x
i, i = 1, · · · , n (2.39)
が得られ,行列G(x)
も条件2.1
も満たしている.このモデルを,区間( − a, a),a > 0
の 上下限制約に拡張し,やはりシグモイド型の非線形変換関数を利用したモデル2 は,文献[96]
で提案されている.以下では,非線形変数変換勾配系モデルにも内部状態量
u = [u
1, · · · , u
n]
T を導入し,(2.22)
式の内部状態表現化を試みる.そのために,y
i(t) = h
i(u(t)), i = 1, · · · , m (2.40)
とおき,この式の両辺をt
で微分すると,dy
i(t) dt =
X
n j=1∂h
i(u(t))
∂u
jdu
j(t)
dt , i = 1, · · · , m (2.41)
であるから,これと(2.22)
式との比較により
du
j(t)
dt = − c ∂E(x(t))
∂x
j, (2.42a)
∂h
i(u(t))
∂u
j= ∂φ
j(y(t))
∂y
i, (2.42b)
2 (2.16)式の関数fiに対し,アフィン変換ai+ (bi−ai)fiを適用すると,値域を区間(0,1)から区間(ai, bi)に変 換することができる.
i = 1, · · · , m, j = 1, · · · , n
が得られる.(2.42b)式より∂y
i∂u
j= ∂φ
j(y)
∂y
i, i = 1, · · · , m, j = 1, · · · , n (2.43)
を満たす関数h
が見出されれば,(2.42a)式と(2.40)
式,さらに(2.23)
式より,図2.4のよ
うな演算回路を実現することができ,合成関数φ(h(u))
が図2.1中の関数 f
と等価である ことがわかる.なお,単位超立方体領域への閉じ込めの場合には,
y
i= h
i(u
i), i = 1, · · · , n (2.44)
とおいて,関数h
を具体的に見出すことができる.(2.43)式へ(2.34)
式を代入して,dy
idu
i= 1
2 cos y
i(2.45)
を解くと,hは
y
i= h
i(u
i) = 2 tan
−1µ 1 − exp( −
12u
i) 1 + exp( −
12u
i)
¶
, i = 1, · · · , n (2.46)
で与えられる.したがって,目的関数を(2.19)
式の2
次関数とし,図2.2の関数 f
をシグ モイド関数(2.16)
で与えたHopfield
型ニューラルネットワークは,(2.33)式のφ
および(2.46)
式のh
を用いて,図2.5の演算回路を用いて等価的に表現される.
最後に,制約条件付最適化問題の解を求めることを考えると,制約条件から決定変数に 対する解構造を仮定することができる場合,2.2節の非線形作用素勾配系と比べて本節の 非線形変数変換勾配系モデルを選択するほうが効果的であると考えられる.非線形変数変 換勾配系は,変換関数を適切に与えれば降下法モデルとなることが保証できる点も利点で ある.他方,制約条件を充足させるような勾配の方向修正法が比較的容易に見出されるな らば,非線形作用素勾配系モデルが有効であると予想される.その理由として,両者のモ デルを比較したとき,一般に後者のモデルのほうが構造が複雑となることが挙げられる.
また,本章以降でも論じるように,現象論的モデルとの親和性が高い実用的モデルの多く は,非線形作用素勾配系と直接的な等価性をもつ傾向もみられる.しかしながら,非線形 作用素勾配系モデルは,必ずしも等価な内部状態表現モデルを解析的に与えられるわけで はなく,決定変数に関する連続時間勾配系モデルを数値計算によって解くとき,制約条件 を侵害しうる欠点がある.その点において,非線形変数変換勾配系モデルでは変換関数の 値域が制約領域に限定されているため,数値計算による制約侵害が起こることはない.
図
2.3:
非線形変数変換モデルの演算回路(1)
図
2.4:
非線形変数変換モデルの演算回路(2)
図
2.5:
図2.2に対する等価演算回路
2.4
障壁法による力学系の安定化2.2節で導入した非線形作用素勾配系モデル,2.3節で導入した非線形変数変換勾配系モ
デルは,有界関数の介在により決定変数が制約領域に閉じ込められることが保証され,文献
[7, 20, 64]
の文脈におけるLagrange
緩和法を適用することなく導出されたモデルである.ただし,問題
(2.1)
の最適解が制約領域の境界にあるとき,対応する内部状態変数や 無制約化変数が発散することがある.これら変数の発散を防ぎ安定化するためには,障壁 法(内点ペナルティ法)[3, 91]の考え方を用いて,問題(2.1)
の最適解が制約領域の境界 にある場合,それを制約領域の内部に摂動させればよい.以下では文献[3, 91]
などの通 常の障壁関数とは異なる関数を用いた障壁法の原理を示す.まず,障壁関数を
B
としてB(x)
< 0, for ∀ x ∈ intX
= 0, for ∀ x ∈ ∂X
(2.47)
なる性質をもつ関数を考える.ただし,intXはX
の内部,∂XはX
の境界を表す.この とき拡大目的関数F (x; r) = E(x) + rB(x), r > 0 (2.48)
のintX
での最小化問題min
xF (x; r) (2.49a)
subject to x ∈ intX (2.49b)
を考える.ただし,次の仮定をおく.
仮定
2.1
任意のr > 0
に対して問題(2.49)
の最適解がintX
に存在する.このとき,問題
(2.49)
の最適解をx(r) ¯
とし,v(r) = min
x
{ F (x; r) | x ∈ intX } = F (¯ x(r); r) (2.50)
とおくと,次の補助定理がなりたつ.補助定理