制約条件なしのシステム最適化手法
の比較
大和田 昭 邦
Ⅰ はじめに
レスデムの最適化で使われる数理計画法は線型計画法がまず発展し，次いで 非線型計画法，さらに動的計画法が開発された。数理計画法ほ1940年代に・なっ てほじめて誕生し，まだ30余年の歴史しかない。さきに．あげた3つの部門のう ち，特に非線型計画法が手薄であったが，この数年の間に急速に多くの手法が 開発された。非線型計画法ほシステムのパラメータを変数とした非線型な評価 関数を最小（大）にする問題として定式化される。評価関数は多変数であるこ
とが多く，さらに度数間に．ある制約条件が付く場合もある。変数浸制約条件が 付く場合を制約条件付き最適化手法，制約条件が付かない場合を制約条件なし の最適化手法と呼ぶ。前者は，しばしば，後者に変形して解かれるのみならず，前 者を解く手法は後者の手法をその一部として含むことが多い。制約条件なしの 最適化手法である多変数の非線型関数の極値を求めるComputer−aidedな探索 法は数多く開発されており，最近でほ後述の一・次元探索を必要としないmaト MatIix法（参考文献7）等の方法も発表されている。シ ステムの最適化に・当
っては，これ等多数の探索法から，問題に・適した手法を選択しなければならな いが，標準的な尺度がないためにこれが困難な問題となっている。探索法の比 較は完全に．解析的に．行うことが好ましいが，これほ数学的に・困難である。この 論文でほ評価関数の形紅ある制限を設けて，解析的方法と，数値実験的方法の
2つのアプローチからできるだけ−・般的な探索法の比較結果を導くことを目的 としている。
第2章ではシステム最適化の手法の解析的アプローチのため紅，一腰的探索
制約条件なしのレステム最適化手法の比較 −β9−−
373
法の構造，−・次元探索法，対象とする評価関数のクラス及び代表的な最急降下 法の特質，共役旬配法の特質，最後に可変メトリック法の特質の説明を行う。
第3葦では上記3つの手法の比較方法及び数値実験に、ついて論ずる。第4章に 比較結果の結論を述べる。
この論文で用いる数学の言己号は下記のように．定義する。
縦変数ベクトルをガ，〃，g，評価関数をノてガ）又ほノ■，評価関数の1階導関数 をg，g（X），grad f，Af（x）等，評価関数の2階導関数行列（以下Hessian）を G，G（∬）等と表現する。ベクトルの内積は尤物，（芳，〟）等と表現する。但し rは転置の意味である。従ってベクトル演算∬〝グは〈∬宜りプ〉なる行列を意味 する。ベクトルのノルム訂rX・をIlぷ」】2とする。ペクレレ，行列及びスカラー 間の演算は通常の規定に・従い，上記以外の記号で特殊なものほ，そのつど説明 を加え
ⅠⅠシステム最適化手法
本章でほ制約条件のない評価関数に対する代表的な探索法の解析的な説明を 行う。関数の最小値，最大値を求めるこ．とほ，／−と−ノ■を考えれば等価な問題
となるので，探索は最小値に．ついて行うこととする。
2．1探索法
関数ノ■の値を逐次に．減少させる皮相内の点∬0，∬1，…，職，すなわち
′（∬0）＞．／て∬1）＞…−……＞ノー（∬た）＞・‥：…∵ （2Jl）
となる点を順次求める手法を降下法と呼ぶ。但し，忍循は〝次元の実数空間であ る。J現（よ＝0，1，……… ，点）が決まった次に．黒山lを決めるに．は，次の2つの 手続きを必要とする。
a．ぷ虎より∬れ1を選ぶ降下方向pゐを決める。
b．降下方向p九上のステップ幅を決める。
すなわち，
（2．2）
ぶた十1＝ぷ鬼十玩恥
式のスカラー変数んをノてぶ机1）が最小となるように．決定する。
簡47巻 算4・5・6弓
…，9∂− 374
上記a，bの手続きにより探索点が1つ進むわけであるが，これ等2つの手 続きをまとめて以下1イテレ−・ショソと呼ぶことにする。従って∬たの添字点ほ
イデレ−・ション番号となる。又上記bの手続きほ結局一・変数関数甲（ね）＝ノ （克た
−トれ恥）の最小化問題であり，−・般に．一・次元探索と呼ばれる。
各イテレー・レヨンに於て，局部的に．は関数値ノ■（・℃＋匝）は，／て芳）より減少す べき であるから，降下方向pほノある才＞0に．於て
ノー（・方＋卸）tく′て方）
を満す必要がある。．／■が微分可能な時，テ−′ラー展開により l甲（f）＝．／て芳＋錘）＝．′（ガ）＋細（諾うてわ
（2．3）
（2．4）
であるから，pは
伊（ぷ）rpく0 （2．5）
を満足する。式（2．5）を満足する降下方向ほ安定して関数値を減少させるの で，使用可能方向ベクトルと呼ばれる。⊥記降下方向pおよぴステップ幅才を 計辞する時の情報の種類に．より，探索法ほ次の3つのクラスに．大別できる。
A．関数値のみを使用する方法。
B．関数値と−・階導関数を使用する方法。
C．関数値，−L階導関数及びHessianを使用する方法。
Aほ一・階導関数を−・階の差分で近似することに．よりBと等価である。Crの手 法と．してほエコ．−・トン。ラフソン法のように少ないイデ1／−ション数で収束す
る方法があるが，−L般にHessianとその道行列を求める割算が入るので，計算 時間が早いとは言えない。従ってここで取扱う手法は，Bに属する次の代表的 な3つの手法とした。
最急降下法（以下SDと呼ぶ。）
共役旬配法（以下FRと呼ぶ。）
可変メトリック法（以下FPと呼ぷ。）
共役旬配法と可変メトリック法ほ2・5節，2・6節で述べるように・幾荏類かの探 索法を含むが，3．2節の数値実験で使用するのほFletcher とReevesによって 考案された共役匂配法（参考文献5）とFletcherとPowellによって考案され
制約条件なL・のシステム最適化手法の比較 一・9J−
375
た可変メトリック法（参考文献4）である。（以下前者のイモレヤルFRと後者 のイニシャルFPを用いることに．する。）
−・次元探索法ほ多項式近似法や，フィボナサの探索法等（参考文献2）等が あるが，ここでは非常に収束速度の速いと言われているDavidonの開発した三 次の補間法（参考文献3）を，上記3つの探索法に．共通に用いること軋する。
こ？ことによって上記3つの探索法の相異点ほ降下方向ベクトルpの違いだけ になる。それぞれの探索法に於るイデレージョンズでの降下方向ベクトルp￡は 次のように決定される。
SD法：p官＝一飢＝一灯（∬i）
FR法：pi＝一飢（∠＝〝乃）
p打1＝一飢十1十γ汐￡（グキリ犯）
γ￡＝ク酌＋1ク2／ク飢ク2
但し〝は整数，紹ほ芳の次元数である。
FP法：p打1＝一」坑＋1飢十1
月；．1＝筏十A￡＋β乞 （行列）
月8＝′（単位行列）
A宜＝d宅d官γ／感賞勘
〃・／力‖／リ／〝、リJ〝．
〝名＝酌十1￣g宜
d乞＝ぷ＝1一書豆＝α汐も（α官＞0）
（2．6）
（2．7）
（2．8）
但しα宜は一・次元探索の結果として一定まる才乞の根である。
SD法の降下方向は関数の局部的最急降下方向に．一・致してこいるので，−・次元
探索紅於て適当な才＞0を定めれば，関数値は確実紅減少する。つまり（2．5）
式の左辺は∵1l♂！】2となり常に負である。
FR法とFP法の降下方向ベクトルpは，2．5，2．6節で説明されるように．，
評価関数fが二次形式の場合常紅fのHessianに．共役なべクトルとなってい
る。ノーが非線型な場合でもノ の二階までのテ−サー・展開で近似できる近傍のみ
を考えれば，局部的にニ次形式と見なせる。従って次の定理から，FR法とF
376 第47巻 貨4・5・6号
−一分2−−
（1）
P法の降下方向が安定であることが保証される。
（定理2．1）
部分空間M上の与えられた微分可能な二次形式の評価関数ノ■の最′ト点がガ であり，さらに．，M⊂Nなる部分空間N上での最小点が〝であるとする。すな わち
（2．9）
minノてZ）＝ノて・お）＆minノてヱ）＝ノお）
′∈〟 g∈〟
と仮定する。この時y−Xは部分空間MにG−共役である。但しGはfのHessian である。（参考文献2）
2．2 −・次元探索法
一次元探索ほ初期点ガから降下方向pに．そっての評価関数ノ の最小点∬＊を 決定することである。つまり（2．4）式の甲（り の一・階導関数を0に．する点を 見付けることに相当する。この時次の式が硬．立・する。
d甲（g）／dfニダ（ガ＊）クセ＝0 （2．10）
尤＊＝ぷ十が卸
Davidonの三次の補間法は∬＊を求めるのに次の2つのステップを推めてい る。
（ステップ1） 毎
次のアルゴリズムで降下方向p上に∬＊をはさみ込む∬A，∬βを探索する。
但しここで用いる添字￡は前記イテレー・ジョンとは無関係である。
J＝2（est−ノ■（ガ））／♂（∬）rp （2．11）
（1）直交ベクトルの概念の拡張として共役ベクトルの概念があり，関数の最小値を求め るのに．有効である。ベクトルp乞がG−−共役とは
p宜rqp一プ＝0 よ≒ブ キO i＝ブ
が成立することを言う。グラムシュミットの直交化手法と同様に，弼個の独立ベクト ル∬1，ガ2，…，∬仇を互にG一共役なべクトル 旭勇紅変換する方法がある。
た 占眈．ユ＝勅十1＋∑α鬼ノ〝．メ
グー1
叫＝一 万た．1 G〝ブルダG〝ブ
制約条件なしのシステム最適化手法の比較 −9β−
377
−〝二
・∴一二
ぷ乞＝ぷ十2五×みp（よ＝0，1，2，l・lう
伊（ぷ乞）アわく0→よ ＝ よ＋L→（2．14）
♂（∬g）rp≧0→尤β＝ぷォ，ぷA＝ぶz−1−→（ステップ2）
但し（2．11）式のestほノてぶ）の最小値の予想値である。
（ステップ2）
ステップ1で求めた∬A，∬月を用いて，次のアルゴリズムでさら紅精確なぶ＊
の近似値を決定する。甲（のキ／（ぷ＋匝）に於て，
（2．15）
（2．16）
（2．17）
（2．18）
甲（0）＝．／てぷA）
甲（入）＝ノてよβ）
d甲（0）／蛮＝ダ（∬A）rpくO
d甲（入）／d才ニ♂（・Ⅹβ）㌔，≧0
と置くと，最小点ぷ＊に．対応するf＝αは，d甲（α）／d≠ニ0として0＜α≦入間に 存在する。
ここ∴で甲（のを次の3次式で近似する。
甲（わ＝α才3＋如2＋C才＋d （2．19）
Davidonに．よれば，この時，dダ（α）／df＝0なる根αほ次式に．よって求まる。
（参考文献3）
0くそ＝卜 ダ（∬β）rp＋Q一之 ダ（ぷβ）7わー伊（よA）rp＋・2Q
但し
g＝3（甲（0）一甲（入））／入＋ダ（∬β）rp＋Lダ（∬A）7b （2．21）
Q2＝ぞ2一打（ぷβ）rpxダ（ぷA）㌔） （2．22）
である。
／＼ ここで㌦＊の近似点ぷ＝ぷA＋αpが求まった事に．なるが，さらに．精度をあげる
ために．次の判定を用いる。
／ヽ 0＜♂（∬）㌔，の絶対値≦声 （2．23）
第47巻 第4・5・6号
ーー 9せ−− 378
ここにどは希望すべき精度であり，式（2．10）を満すべき微小な数値である。
式（2．23）が満されない場合次のように．新しい∬A，∬月が決められてステッ プ2を繰り返すことになる。
／＼
♂（ぷ）旬く0→．℃。＝； （2．24）
／＼
♂（．方）rp≧0−→ぷβ＝； （2．25）
以上が，ここで用いられる−・次元探索法の概略であるが，3．2節の数値実験 でほ，ステップ1，2とも数回の繰り返しで良好な収束速度を示している。
2．3 評価関数
探索法の数億実験用としてほ．，参考文献4，5，8等紅用いられている−・般 軋収束しに．くいとされている非線型な関数を用いる。
とれ等の関数は，例えば図3．1，3．2の等高線に．見られるよう紅，虎花内に．最 小値が1つのみ存在する単峰性であり，連続微分可能なものである。図に示さ れるように・，幾何的特徴としては，最小値に．向って深くて長い谷形を持ってい ることである。この谷形は直線的であることも，屈曲していることもある。探、
索法の収束の難易度は一・般的に，上記谷形の壁の角度や谷底に．そったゆるやか なスロ十プの傾斜や谷底の狭さ，及び谷形の屈曲の度合等に依存している。こ れは谷形が狭く，深くて，屈曲している関数程，2階のテーラ展開で近似でき る空間の大きさは小さくなることから推測できる。
又これ等脚数は楕円体（二次形式）のように全ての領域皮相上で凸なる性 質は持たないが，関数のHessianはLipschitzの連続性を持っている。
以上の関数に対する条件をまとめろと，次の2つの条件として−記述できる。
（条件2．1）
次の条件を持つ点ぷ0と集合∫，ぶ0が存在する。
ノて∬）ほコンパクト（有界閉集合）な閉集合ぶ上で連続的に．微分可能であり，
∫0＝（エ∈虎花tノて・芳）くノて∬0）〉⊂ぶ
を満足する。
（条件2．2）
最小点ヱの凸なる近傍で，ノて∬）ほ連続的に．2階微分可能であり，次の式を満
制約条件なしのシステム最適化手法の比較 −95−
379
足する常数0く〝くこ甲が存在する。
〝クぷク2くぷJG（g）．黒くりクぷク2，ぷ∈鷹沌 但．しGはfのHessianである。
条件2．1は最小値の存在を保証．し，条件2．2は最小点gの近傍が一・様に凸であ ること，すなわち。／■のHessianGが正定であることを示している。但し行列G が正定とは，次の事を意味する。（参考文献6）
ぷ7 G二℃＞一0 ．芳∈ガ指 （2．26）
2．4 最急降下法の特質
式（2．6）で与えられているように，SD法の降下方向ベクトルほantigr・adient な方向であり，局部的には最適な降下方向となっている。しかし図3・1，3・2の ような深い谷を持った関数に対してほ．，FR法やFP法のように前のイデレ−
ジョンの情報を利用しでいないので，非常に細かいノコギリの歯のように，ジ グザグ紅最小点に．近付き，大域的に」は最適な方向とは言えない。このことほ関 数が2次形式の場合に．，次のように示される。
関数ノ■ほ，Gを対称正走行列として，
ノて芳）＝．方γG．芳 （2．27）
式で表わせる2次形式とする。降下方向ベクトルpは（2．28）式で表わされ，
p＝−♂（．Y）＝−Gぷ （2．訪）
（2．4）式の甲（才）ほ．（2．29）式となる。
甲（わ＝′（℃一方Gぷ）＝お㌢（G−2才G2＋才2G8）ぷ／2 （2．29）
従って（2．10）を満足する才＝αなる根は，（2．30）式で表わされる。
α＝ぷrG2∬／．麗γG8ぷ＝gr♂／♂rG♂ （2．30）
一般的把
ク♂ク2≦（ダrGg）（♂rG￣1g） （2．31）
／＼ が成立することから，ぷ＝よ1αpでの関数値が（2．32）式のように必ずしも最
小値0紅蓮しない事が証明される。
／＼ 2ノて℃）＝ぷrG・芳一（∬rGぷ）2／ぷrG3よ
＝ダrG￣1ダー（♂7 g）2／♂rGg≧0 （2．32）
第47巻 第4・5・6号
ー 96−− 380
（2．31）式はⅨantorovich−Bergstr・Omの不等式であり，G￣1ほGの逆行列であ る。
とこで，ニュL−トン・ラフソン法の降下方向ベクトルp＝−−G−1ダの方向上 紅，次点を探索したとすると，次式が成立することから
ノてエーGl▼1g）＝．／てエーG￣1G・驚）＝ノて0）＝0 （2．33）
1匝lのイテ1′−レヨンで最小値が求まることが証明される。以上の最急降下方 向の収束の悪さほ．非線型な関数に．対しても拡張できる。
2．5 共役匂配法の特質
共役勾配法はもともとAぷ＝ぁという連立線型代数方程式の解法として開発 された。（Hestenes＆Stiefel，1952）この方程式を解くことほ，
ノ（ぷ）＝（A∬…ゐ）㌢（Aぷ⊥沌） （2．34）
式で表わされる2次関数の最小値を求めるのと等価であり，2次形式に．ついて の共役旬配法についての理論的な面は良く知られている。共役匂配法を制約条 件なしの非線型関数の最小値を求めるのに応用することは，計算機化に．とって 記憶容急が少なくて済むという点で，行列演算を必要とするニュートン・ラフ
ソン法や可変メトリック法に比べて，興味がもたれ富。しかし非線型関数に対 する解析理論が発表されてきたのは最近のことである。
ここでは（2．7）式で示されるFletcheI・とReeves（FP法）の共役可配法の 説明を行い，次にイ也の共役旬配法及び参考文献6紅見られるMcCor・mick と Ritterの共役匂配法の収束性と収束速度に関する解析結果を述べる。
評価関数ノ■を柁次元非線型関数として，2次の項までテーラー展開する。
メて方れ1）＝ノて∬克＋玩恥）
＝ノ■（∬た）＋ね7鳥7わ虎＋≠ゐ類たどG（∬た）動ノ2
ここで，2．1節の定理2．1に於て，
（2．35）
∬た＝∬，∬如l−ぷた＝才屯pた＝〝−∬
のよぅに対応付けると分るように・，pた（烏＝1，2，▲‥，ゐ）がG共役なべクレレ であれば，ノ■の降下方向であるこ．とが言える。但しこ．れは（2．35）式に．於て高 次項の無視できる（Gが常数行列と見なせる）領域，つまり局部的領域でのみ
制約条件なしのシステム最適化手法の比較 −97−
381
言え．る。FletcherとReevesは（2．35）式が2次形式であることを利用して，
（1）
一飢を用いて，次式によりG共役な降下方向ベクトルpたを生成した。
pた＝一飢」−γか」f圧−1（1≦ゐ） （2．36）
po＝一飢 （2．37）
γ巨1＝餅㌔G抑−1／pみ−1rG郎一1 （2．38）
一・次元探索ほ．d．／て方た＋1）／d才な＝0を満足するんを求めることであるから，（2．
35）式より，
飾れ恥＋′ぁp鬼rGpた＝0
∴ ん＝−動占師ノb鬼rGp鬼 を得る。一一・般的に．￡たの近傍でほ
灯れ1＝飢＋才克G恥
（2．38）
（2．40）
の関係式が成立する。（2．39），、（2．40）式より，
飢彗恥一1＝動一1‡わた一1T−（飢一1rpた一1／pか1rGp虎−1）（G釦−1）rpた−1
となり，Gが対称実行列でGr＝Gとなるから，
飢rpた＿1＝0（虐交性） （2．41）
が言える。これは降下方向pた一1が次の点の転配方向と直交する，つまり次の点 ぶ鬼の等高線と接するように才たが定まることを示している。（2．36）と（2．41）
式より，
飢rpた＝一仇苫凱＋γ舟・一・1飢7p鬼−1＝−飢告恥＝−ク飢ク2 （2．42）
さらに．，
p烏アGp庵＝一♂虎rGpた＋γた−1pか1TGpた （2．43）
を得る。ここでGが完全に．常数行列（ノが2次形式）とすれば，pた（烏＝0，1，
・）はG共役であるから，pた−1rGpた＝0となり，
（2．44）
pたでGp々＝一鈍才Gpた
を得る。（2．42）と（2．44）式に．より，才たは，
ん＝−ク動ク2／動rGp鳥
となり，（2．40）と（2．45）式に．より
動ア飢＿1＝ク飢＿1ク2−（ク飢−1ク2／飢一1rGpた）・gか1グGpた
（2．45）
貨47巻 寛4・5・6号
−，9β− 382
＝クダか1ク2−ク飢一1ク2＝0 （2．46）
を得る。これは♂ゐ（ゐ＝0，1，…）の直交性を示している。ここ．で（2．38）式 のγれ1のGを消却する。
γた−1＝gたrGpた−1／わん−1rGp太一1 （2．47）
（2．40）を変形したG動−1＝、（飢−ダ克−1）／才たを（2．47）に代入する。
γた−1＝飢ア（ダた−伊ん−1）ノbゎー1㌢（飢一郎−1）
＝（クgゐク2−一飢7 gた−1）／（pた−1グgゐ−ガレ1gた−1） （2．49）
ここ．で，（2．41）式と（2．46）式の直交性と（2．42）式を代入すると，FR法で ある（2．7）式と同じ，
γた−1＝ク飢ク2／ク飢−1ク2 （2．50）
を得る。
以上が（2．7）式のFP法であるが，共役匂配法の中に．ほ，降下方向pを（2．
51），（2．52），（2．53）式のようにとるものも発表されている。
po＝−♂o
p乞．−1＝￣飢＋1−γ慮p慮 γ戎＝臥ト1r（飢．．1一飢）／ク飢ク2
ー飢．り，∠■＝リグ−1又はクγ乞piク＞・αク飢＋1ク
又は軌＋1rわ慮＋1≦二0の時
＝p…1，よ■≒〝クー1又は
クγ慮p官ク■くαク飢＋1クかつ飢＋1㌔，i＋1一＞・0 （2．51）
pォ＋1＝
但し，〝＝＝1，2，…，整数で，Pて≧乃の整数であり，αは−・次元探索の精 度を示す正数である。（参考文献6参照）
（2．7）と（2．51）式に於るγ乞を
γ乞＝飢＋1TGp宅／p￡rGp乞（Daniel） （2．52）
γi＝gi．1T（gi．rgi）ノわiT（9i．l−gi）（CrowderとWolfe）（2．53）
とした2つの方法。これ等3つの方法は，上記FR法の証明から容易に類推で きる。
（2．7）（2．51）（2．52）（2．53）式に共通な事は，局部的紅．は，常数行列とみな
制約条件なしのシステム最適化手法の比較 −99−
383
せるHessianGに共役な降下方向ベクトルを用いていることと，（2．7）式でほ〝
回ごとに．，（2．51）式ではP回ごとに．，降下方向を最急降下方向にもどサリセッ ト・イデレー・ションがあること等である。共役匂配法に．於るリセット・イデレ ーVヨンの必要性は，1971年にCrowderとWolfeにより，次の補題が発表さ
れたことによる。
（補題2．1）
共役軌記法が2次形式に適用された場合ち 初期降下方向ベクトルpoを最急
降下方向，一−♂（・rO）に．とらないと，−・般的に南限回数のイテレ−ジョン数で収 束するとは限らない。
こ．れ紅対して，pO＝・−gOとした共役匂配法を，〝次元の2次形式に適用した 場合，少なくとも柁回のイデレ−・ションで収束することが証明されている。
共役匂配法の収束性，収束速度については，MccormickとRitterが参考文 献6の中で詳細に解析している。解析対象の関数ほ，2．3節の条件2．1，2．2を 満足する非線型な評価関数であり，そ・の結果ほ次の定理2．2，2．3に集約され る。
（定理2．2）集束性
条件2．1が満足され，降下方向が（2．51）式で与えられ，一次元探索が十分 な精度で行なわれたとすると，
ノてぷ名十1）く／ （ぷ￡）（オ＝0，1，2，・…）
である〈ぷ乞〉点列が，ある∬仇に有限回で収束して，
♂（ぷ鵜）＝0
となるか，又ほ
よ−→…⇒ク♂（∬官）ク→0
である。又条件2．1に．加えて，ノ がS上で完全軋凸であれば，〈・黒土〉点列は大域 的最小値に収束する。
（定理2．3）収束速度
条件2．1，2．2及び降下方向が（2．51）式で与えられ，一・次元探索が十分な糖 度で行われたとする。（去〉イテレーション列のリセットごとの部分列（〝P〉（〝＝
第47巻 欝4・5・6号
ー．砂0− 384
0，1，2，…）に．対して次の事が言える。但しPはリセットイデレL−ジョン 周期の基数を示す。
a．ク飢ク＋乃ク／ク飢凪ク→0（〃・→∞）
b．ク損ふ川一方ク／クエuダーgク→0（〃一斗…）
但しZはfの最小点である。又fのHessianGが次のLipschitz条件を満足 する場合，次のC，dが成立する。
クG（・方）−G伽）ク＜んクぷ檜凱ク（エは正常数）
C．ク飢p＋花ク／ク飢アク＝0（ク飢アク）
d．クエレア＋花一方ク／クズック一方ク＝0（クガリクーg）
MccormickとRitterに．よれば，定理2．2，2．3は（2．7），（2．52），（2．53）式 の共役匂配法に．も成立する定理である。
定理2．3のa〜d式に．より，リセット・イテレー・ションは，ノの次元数〃回ご とのイデレーションに．行うのが最も能率的であることを示されている。
2．6 可変メトリック法の特質
2．4節の（2．33）式で示されるように二，HessianGの逆行列を用いて，収束速 度の速いニュートン・ラフソン法の降下方向を得ることが出来るが，参考文献
3の中でDavidonほ，HessianGとその逆行列G−1を直接求めることなく，収 が得られるような可変メトリック法を開発した。後に」Fletcherと 束点でG，1
Powel＝はこ．の方法を（2．8）式に．示される形に簡約した。（参考文献4）今評価 関数．／−を最小点gの近傍で2次までデーヲ展開すると，
ノて．方）翠／てヱ）・1一夕r（g）（∬一之）＋（ズー之）rG（ぷ一之）／2 （2・54）
を得る。ここで♂（g）＝0であるから，
ノて∬）−．／（Z）芸（∬一之）rG（￡一之）／2 であり，一・般紅
♂（ぷ）⊇G（エーヱ）→（・芳一g）…G▼1♂（・光）
であるから，（2．55）式は
ノて∬）−ノ■（Z）彗♂（ぶ）GTl（∬）
（2．55）
（2．56）
（2．57）
となる。こ．こでGが常数行列ならば，（2 」57）式に．より点ぶの情報のみで関数
制約条件なしのレステム最適化手法の比較 一劇ヱ−
385
値′（ガ）と最／」＼値ノ（g）の羞が表わされる。つまりG￣1をある意味で測度紅用 いていると言える。しかし一・般に．はG￣1ほ点・芳によって変化する行列であるこ
とから，可変メトリック怯という言葉が来ている。
（2．8）式の降下法に関して，netCller・とPowellは，評価関数ノ■が2次形式 の場合，次の式が成立することを示している。（参考文献2，4）
−飢㌔I宜＝凱拭動＞0（降下方向の安定性） （2．58）
銑Gpi＝pi O≦よ■くゐ（p豆ほ．月完G行列の固有ベクトル）（2．59）
キ0 よ■＝ブ
慧0 0く￡くグ＜ゑ （共役性） （2．60）
′一・ざ；′一
ダ凸恥＝0 0≦こ査＜ゐ （直交性） （2．61）
托−1
∑A￡＝G￣1
ilO
佗−1
∑銑＝一月8（（2．8）式では単位行列）
豆芦0
穐−171−1
仇＝ガム・十∑A亘十∑β￡＝G￣1（収適性）
i＝O Li岩0
以上の性賀ほ，非線型関数に対しても，各イデレーションでの点ぷiの近傍を 2次項までデーラ」展開すれば近似的，局部的に成立すると考えられる。時に 最小値の近傍では，ほとんど完全に成立すると言って＼良い。
外部から導入された行列銑は非線型関数に対しても，収束点に近付く紅従 ってG￣1の良い近似を示すことは明らかである。（2．60）式で表わされる降￣F方 向ベクトルpそ（言＝0，1，・‥）のG一共役性は，ガiがG￣1の良い近似を示す場 合紅，共役匂配法に．準じた定理2．2，2．3に示される収束性，及び収束速度を示 す・ことを暗示している。特に．最小点の近傍では評価関数ノ■が2次形式で近似さ れ，銑がG￣1の良い近似紅近付くことから，ニュー・トン・ラフソン法に．近い 収束速度を示すと言える。但し，非線型関数の場合に注意すべきことは，銑が G￣1とかけ離れた値を取る時紅は，降下方向pほ関数ノ の減少方向紅向いてい
ることは保証されるが，必ずしも能率の良い方向を示さない事である。
以上の事をまとめると，可変メトリック法は，次の3つのイテレーションの
館47巻 第4・5・6号 386
−JO2】
種類に分けられる。
a．月壱がG￣1とかけ離れていて，降下方向pが必ずしも能率的でない場合o
b．ガiがG￣1の良い近似を示し三関数ノ■が対応するイデレーションの点∬i の近傍で，2次形式に近似でき，（2．60）式が近．似的に成立する場合。つ
まり共役匂配法に近い収束性を示す場合。
C．最小値の近傍で，ほとんど完全に．〃iがG】1に．−・致し，関数ノもはとん ど完全に．2次形式で近似できる場合。つまり，ニュー・トン・ラフソン法 に償い収束性を示す場合。
参考文献8の中で，Lar・ichevとGorvitsは，可変メトリック法の降下方向ベ クレレクり1が，共役旬配法と同じようにp￡と飢．1の線型結合で計算されるこ とを次の式な導くことによって一説明している。
p＝1＝ゐhl〔（ク飢＋1ク2−飢十1r軌）pi＋（p乞γ飢）飢十1〕 （2．65）
但しJ￡＝飢r〃￡飢，∽i＝飢41r〟官飢．1 烏i＋1＝〝わ／（押わ十Ji）・ク飢＋1ク2．＞・0
このことからも，一・般に共役匂配法と可変メトリック法の降下方向が同じよ うな性質を持つことが暗示される。
LarichevとGorvitsは．，又，可変メトリック法の降下方向ベクトルに．ついて一，
（2．8）式だけ・でなく一・般に次式で表わせるものが発表されているととを示して いる。
p ・＝−〃一で夕 方乙＝〃卜1十』ガト1
』銑＝p（血豆一1肌−1アルト1r』飢−1）−銑−1』飢−1Z卜1r／ヱト1r』飢−1 血豆−1＝芳乞一方宜−1，』飢−1＝飢一飢一1
肌＿1＝Cl血豆−1一卜C2月零−1r』飢−1
g乞＿1＝ゐ1∠ゴ∬宜＿1＋ゑ2月；−1r』飢一1 （2．66）
但しp，Cl，C2，あ，ゐ2はある常数である。
（2．66）式紅於て，βCl＝ゑ2＝1，C2＝ゐ1＝0と置くこと紅よって，FP法が 導びかれる。
制約条件なしのレステム最適化手法の比較 −JOβ一 387
可変メトリック法の2次形式紅対する収束速度は，共役旬配法と同じ，〝
（次元数）イデレ−・ジョン以下である。
ⅠⅠⅠ最適化手法の比較
この葦でほ，最初の節で，2牽に．於る解析結果の比較と，数値実験で比較・
測定を行うぺきパラメー・タを論じ，3．2節で数値笑顔の結果を論ずることにす る。
3．1比較方法
LarichevとGorvitsは参考文献8の中で，SD法，FR法及びFP法に，つい て，解析的比較と数値実験の比較を行っている。対象にしている関数ほ図3．1，
3．2に示される深い谷形を持つBok関数やRosenbrock関数である。彼等ほ，
比較方法として，上記関数の探索段階を次の4つの段階に分けて解析を行って いる。
a．初期点から谷底に接近する段階。
実験的に．は，各方法とも〝イデレ」−・ション以下で接近する。
b．降下方向を谷底にそ・った方向に．転換する段階。−・般紅降下方向は急角 度で変化する。
C．谷底のゆるやかな流れにそって1埠下する段階。
d．最小値の近傍を降下する段階。
彼等は，局部的な解析の結果を表3．1のように．まとめている。但し表の形式 は簡約してある。表中数値の若い方が収束速度の速いことを示している。上記
4つの段階の中で，探索で最も手数のかかる のほ段階Cであり，非線型性の最も激しい所 である。
この論文では，上記分類とその結果を参考 にするが，比較する見方が異っている。
SD法ほ，2．4節で述べたように．，評価関 数が2次形式の場合も，次元数乃イテレ一打ョンで収束することが保証されて−
寛47巻 策4・5・6号 388
−JO4ニー
いない。これに対して−FR法，FP法ではガイテレ−・ジョン以内で収束するこ とが保証されている。又図3．1，3．2で示される細い谷形紅そって降下する場 合，1つ前のイテレー・ションの降下ベクトルpと現在点の匂配♂の線型結合で，
現在の降下方向が決定されるFR法とFP法に比較して，SD法は現在点の匂 配♂のみを用いているので，谷底にそいに・くい事は明らかである。又一・般の非
線型関数に対してSD法はテーラー・展開の1次近似償よる降下方向と考えら
れ，これに対してFR法とFP法では2次の近似であることから，SD法は総 体的に手数がかかると考えられる。
FR法とFP法については，両方ともテ←・ラー展開の2次近似から導びき出 された降下方向を用いているとこから，SD法との差程能率の差があるとは考 えられない。FR法とFP法の最も著しい差は，2．6節に述べたFPのイテ■レ
」−・ションの種類a，b，Cの特質から来るものと，FR法がリセット・イデレ ー・ションを必要とするという事実である。
リセット・イデレー・ションは通常評価関数の次元数〝回ごとに行うことを考
えれほ，評価関数の次元が低い程，FR法はSD法の影響を強く受けて能率が 悪いことになる。
これに対して，FP法のHessianGの逆行列G−1軋収束するべき行列為に っいて次の挙が言え．る。評価関数が2次形式の場合は降下方向pは（2・60）式 に示されるG一兵役性を保つことから，共役匂配法と同程度の収束速度を示 し，さらに筏が初めからG￣1の長い近似行列であれば，共役旬配法以上の，
っまりニュl−トン・ラフソソ法に近い収束速度を示す。しかしこのことは又，
評価関数が非線型な場合にイ㌻1が急激紅変化する部分では，筏がG￣1の近似 行列に収束しに．くく，かったとえ．一度近似的にG−1に等しくなっても安定しに
くい場合が存在し，このような時は共役匂配法以下の収束速度を示すこ・とにな る。これは，共役匂配法では，（2．38）式に示されるごとく，常に現在点でのG に共役な降下方向をとっているので，降下方向ベクトルpの局部的なG一共役 性ほ，FP法より安定していることから来ている。これから以後，FP法の践 の性質が悪く，収速速度の落ちる場合を，単に「」仇の性質が悪い0」と言い，
制約条件なしのシステム最適化手法の比較 −・必死トー
389
月完がG【1の良い近似を示す場合を，「品の性質が良い。」と言うことにする。
上記銑の性質の悪さほ，標相関数の非線型性とともに，変数の次元数とも 関連していると考えられる。
一腰にFP法はFR法に．比較して，式（2．23）のどで表わされる−・次元探索 精度の影響が大きいと言われるが，これはFP法では，ガiの精度が直接−・次元 探索の精度に依存しているのに対して，FR法では，（2．38）式により，イデレ ーションごと紅Gの近似値が用いられることによると考えられる。
以上FR法とFP法の比較結果をまとめると次のように．なる。
A．FR法とFP法の第1，2イデレー・ションでの降下方向ほ完全に一徹す る。（参考文献8）
B．FR法ほリセット・イデレーションごとに収束速度が落ちる。この影響 は変数の次元数が低い棒大きい。
C．FP法はガiの性質の良い場合と悪い場合が起り，こ．の影響は非線塑性 が強い程，変数の次元数が高い程大きい。
D．2次形式で近似できる最小値の近傍でほ，FR法，FP法とも差がな いと考えられる。
但し，⊥記解析の対象に．なった収束速度ほ，収束に必要なイデレー・レヨン数 を意味している。（2．6），（2．7）式及び（2．8）式で示されるように，降下方向 ベクトルpの計算畢はSD法，FR法，FP法の順紅多くなって−いる。従って 探索法の比較には下記のように．仝計算時間の比較も必要なことが分る。
探索法の計算意は，2．1節で明らかにしているように，降下方向ベクトルの 決定と一・次元探索の2つの計算量ではとんど決定される。計算藍は，変数の次 元数N，収束までのイデレー・ション数M，及び適当な常数パラメー・タ，A，B，
C，Dで次のように決定される。但し各パラメ・一夕の添字S，工■，p，1は，
それぞれ，探索法SD，FR，FPと一・次元探索を表わすものとする。
（SD法の全計算畠：rβ）
（Cざ・Ⅳ2十βs・Ⅳ十As）・〃ざ
（FR法の全計算量：Tγ）
（3．1）
窺47巻 籠4・5・6号
ーーーヱ0（トー 390
（3．2）
（G・Ⅳ2十β7Ⅳ十』γ）・鱒
（FP法の仝計算届：rp）
（かp・Ⅳ∂＋Cp・Ⅳ2＋βp・Ⅳ十Af））・肱〉 （3．3）
（1次元探索の全計算届：アェ）
（CJ・Ⅳ2十βよ・Ⅳ−L動）・〟 （3．4）
（3．4）式の朗■に添字がないのほ．〃s，J払，几鶴になり得ることを示している。
計算量の算定ほ次の考え方に・従った。
評価関数′：Ⅳ〜Ⅳ2オー∵ダの加減乗除穿。
汐：Ⅳ2オ一一ダの加減乗除算。
αアゐ：Ⅳオーダの加算と乗算。
αあr：Ⅳ2オーダの乗算。
行列加算：Ⅳ2オ−ダの加算。
行列掛算：Ⅳ3オr・ダの加算と乗算。
計算機に於る加減乗除静の演算時間の比を一・定と見なし，プログラミングの ステップ数は，ある程度計算量に比例すると考えると，（3．1）〜（3．2）式はその ま富，計算時間と見て良いと考えられる。従って（3．1）〜（3．4）式を，それぞ れ，SD法，FR法，FP法の探索と一・次元探索の計算時間，γざ，れ，7ゝ，rZ
と置くことにする。測定パラメータとして．は，もう1つ，SD法，FR法，F P法のそれぞれの計算時間に占める、1次元探索時間の割合ガぎ，凡，ガpを設け る。これ等は下記のように算定される。
孔＝Tl／rg箋常数
屈γ＝r乙／rヶ芸常数
忍p＝n／アp芸jち／Ⅳ（亀ほ常数）
数値実験は，プログラミングをFORTRAN言語を用いて行い，計算機ほ HITAC−・8700，8800レリ−ズを用いて行った。又計算数値牲全て倍長語（有 効数字16桁）を用いた。
3．2 数値実験
テスト用評価関数としてほ次の4つの関数を用いた。
制約条件なしのレステ∴ム最適化手法の比較 一JO7−
391
a．Box関数（2次元）
f（Xl，X2）＝∑〈exp（TrlZ｝），eXp（・−X2Z／）−・eXp（一L／）十exp（−10zJ）〉2
（3．8）
但し〃は0．1，0．2，…‖，1．0の10個の常数をとり，最小点∬＝（1．0，10．0），
最小値／ ＝0である。図3．1が等高線を表わしている。
b・Rosenbrock関弊（2次元）
八鴛1，芳 2）＝100（ヂ2一見12）2十（1仙・方1）2 （3・9）
最小点方＝（1．0，1．0），最小値／■＝0である。図3．2〜3．6まで順次詳細な等 高線を表わしている。別名Banana関数と呼ばれる。
C．Powellテスト関数（4次元）
／て鴛1，．方2，．芳・3，方4）＝（．諾1十10．鴛・2）2十5（ズ・3−．方4）2＋（．方2−2．方3）4十10（．方1一−芳4）4
（a．10）
最小点ガ＝（0．0，0．0，0．0，0．0），最小値ノ ＝0である。
d．複合Rosenbrock関数（2m次元）
m
八方）＝∑ 〈100（ズ・2￡−．方2官一12）2十（1−．ガ2乞−1）2） そ竺1 （3．11）
椚はパラメー・タであり，2∽次元の関数である。最小点は．∬＝e（単位ベク トル）であり，最小値．／ ＝0である。2〜100次元のテスト用紅用いる。
数値実験に於て，2・2節の（2・11）式に於る，関数最小値の予想値estは全て 0と置いた。
（2．23）式に於る1次元探索精度eは，どの影響を図示した図3．13〜3．16を 除いて，全て10￣6と置いて実験を行っている。
図3．2〜3．17はFR法とFP法のヂL一夕のプロット図である。注意すべき事 ほ，図3．2〜3．6に．於ては黒丸がFR法を示し，白丸がFP法を示しているのに 対して，図3．7〜3．17に於ては．，反対に白丸がFR法，黒丸がFP法を示して いる事である。
表3．2，3．3，3．4ほ，それぞれ，（3．8），（3．9），（3．10）式紅対する数値実験 の結果である。表内の記号は，NO．が実験番号，〟が探索法の種類，ぷ0が初
弟47巻 寛4・5・6号
u・此鳩一 392
期点，．／ 0が初期関数値ト／ ＊が関数収束値，Ⅰ．Nが式（3．1）〜（3．4）の凡才と同 じ総イブ1／】・ショソ数，rが全計算時間，屈がTに対サーる1次元探索時間の 割合（式（3．5）〜（3．6））である。デー・タ数倍は有効数字2〜4桁に略して書 いてある。
全の実験に於てイデレーー・ション数の限度を1万回とし，収束判定を関数値が 10【12以下となる点と．した。
（Box関数の実験）
図3．1が等高線であり，黒丸の点（1．0，10．0）が最小点である。表3．2の実 験値ほ，図3．1の1点鎖線内の点（・−1≦肌，．方2≦1）で乱数を発生させ，こ れを初期点の座標として行った実験結果である。Ⅰ．NとTの項に注目すると，S
D法ほFR法とFP法より2桁前後の能率の悪さを示し，問題にならないこ．と が分る。FR法とFP法でほ，Ⅰ．N項ではほとんど差がない。これは．FR法の
リセッ†・イテレ−ションの能率の悪さと，FP法のガiの性質の悪さが互に周 程度であることを意味すると考えられる。虎の項に注目すると，どの実験でも，
FR法では．87％，FP法では95％，SD法でほ98％の常数に落ち着いている。
これほ式（3．5），（3．6），（3．7）が良く成立していることを意味する。FR法 の虎の方がFP法の虎より小さいことから，相対的に．FR法の降下方向ベクト ルの決定時間が大きい事が示され，FR法めアがFP法のrより2倍近くの 値を示す埋由となっている。表3．2にほ示されていないが，各イデレーション
の平均一・次元探索時間ほFR法の降下方向とFP法の降下方向に対してあまり 差ほない。この事は以後に述べる他の関数の実験に対してもほぼ言える事実で ある。
図3．7ほ表3．2の実験NO．1に於る収束速度を示すものである。縦軸には 1lgll2値が10のベキ乗で示され，横軸にはイテレーション番号が示されてい る。白丸がFR法，黒丸がFP法を示している。図3ご7はFR法紅ついて定理 3．3が良く成立していることを示しており，FP法についても同様の定理が成 立することを示している。
（Rosel】bfOCk関数の実験）
制約条件なしのシステム最適化手法の比較 一封光トー 393
図3．2〜3．6は順次最小点の近傍へと細評さを増した等高線図であり，白い四 形印で最小点が示されている。表3．3は，−5≦．γ1，．方2≦5の区問で発生させ た乱数を初期点座標に用いた実験結果である。SD法ほ実験NO．1，3，5で ほイデレーション数が1万回を越しているし，その他の実験でも，PR法とF P法に比べて，Ⅰ．NとTの値が102倍以上になっていて問題にならないことが 分る。
図3．2に示されるように．RosenbrOCk関数は第1象限内では，Box関数の第 1象限に近い値線的な谷形を持ち，第1象限及び第2象限にかけて屈曲した谷 形を持っている。また図に暮されるように．第2象限の谷形の方が細くなってい
る。図3．2に於て，叫点鎖線で結ばれている患丸は，表3．3の実験NO．1，2の 実験に於るFR法とFP法の初期点と第1，2イデレL−ジョンの点である。図 3．2〜3．6にかけてプロットされて−いる，黒丸と白丸は，表3．3に於る実験NO．3
の，それぞれ，FR法とFP法のイデレー・ションごとの∬盲点である。1部を 除いて，FR放でほ最急降下方向をとるリセット・イデレ−・ジョンに・よる降下 点を除いた偶数番号のイデレーションの点めみをプロットしてある。又FP填 でも，降下ステップが小さいイテレ」シ′ヨンで，プロットすると見紅くくなる 点は除いてある。
RosenbrOCk関数は下記のように，最小点の近傍ではとんど2次形式で近似 できる。
ノ＝100（．方2＋．方12）2＋（1−．方1）2 方1＝1＋8とおく，但し∂ほ．微小，
／＝100（一方2＋（1十∂）2〉g＋∂2
ノー＝100〈、方2＋1＋が）2＋∂2 （3．12）
（3．12）式は直線的な谷形を持つ2次関数を表わしている。こ．のことから，舞 1象限で最小点より上に．位置する谷形の部分は直線的であり，2次形式紅近い 性質を示すことが分る。実際紅表3．3の実験NO．2，4，6は初期点が算1象 限の最小点より上にあり，Ⅰ．NとTの実験値ほFR法とFP法であまり差がな いと言える。これに．比して第1，欝2イデレ−ジョンで非線型性の強い谷底紅
ーJJO− 第47巻 第4・5・6号 394
落ちる，衰3．3の実験NO．1，3，5では，FR法はFP法より倍近くの能率 の悪さを示している。これはFR法のリセット・イデレ−・ジョンが2回に1回
行われる影響が強く出ていることを示す。図3．2〜3．6を見ると，FR法のリセ ット・イテレーション以外の点での降下方向の能率は，FP法の降下方向の能 率に比較してあまり変わらない事が示されている。しかしFR法の，例えば第 4，第5イテレ−・ジョンの点，第6，罪7イデ1／−・レヨソの点をプロットする とはとんどオ−バラッブする程，リセット・イデレー・ションの降下方向ベクト ルの能率ほ悪い。勿論図3．2のFP法（白丸）の第4，欝5イテレーションの 点や，図3．3のFP法の第8，第9イテレ−ジョンの点のように，プロットす るとはとんどオ−バラップしてしまうような降下方向が，FP法にも存在する が，その頻度は少ない。FP法のこのような性質ほ．」珠の性質の悪さを示すと 考えられる。
図3．8，3．9，3．10ほ．表3．3の，それぞれ，実験NO．4，3，1の収束速度を 示すグラフである。縦軸には‡】射12値が10のべキ乗で示され，横軸にほイデレ
−・ションの番号が示されている。こ．の図からもFR法について定理2．3が成立
することを良く示しており，FP法について■もそれ紅近い収束速度を示すこと が分る。
表3．3のRに注意すると，FR法では70％前後，FP法では65％前後，SD 法でほ73％前後に層・ち着いていて−，式（3．5），（3．6），（3．7）が良く成立して いることが分る。
（Powellテスト関数の実験）
この実験ほ関数が4次元なので，等高線を示していない。表3．4ほ，−5≦．方．，
方2，一方3，．方4≦5の区間で発生させた乱数を初期点座標にとった実験結果であ る。又図3．11，3．12ほ表3．4の実験NO．2，1の収束速度を示すグラフであり，
縦軸と横軸は，図3．7〜10と同じである。白丸がFR法，黒丸がFP法を示し ている。区13．11と図3．12のIl♂＝2値を見ると，FR法とFP法とも最後まで振 動していることから，たとえ関数値．／が10￣12．以下になる程，最小点に近付い ても，Powellテスト関数は2次形式で近似できない事を示している。こ．れに
制約条件なしのシステム最適化手法の比較 −エ臼㌧−
395
対して，図3．7〜3．10に示されるBox関数とRosenbrock関数についての1座＝2 のグラフでは，最小点の近傍で線型に1Ⅰ伊Il2の値が減少する。従って図3．11，
3．12ではFR法ほ定理2．3の収束速度を示して−いないと言える。実際に．座標ぶ
について＼実験値を示すと，収束時点で，表3．4の実厳では10￣2′・−10￣4のカー−＼ダ で最小点に近刊いているのに対して−，表3．2と3．3の実験でほ10￣5〜10￣10のオ
−ダで最／」＼点に近付いている。
表3．4に示されるSD法ほ，Ⅰ．Nが全て1万回を越えてしまって収束してい ない。Ⅰ．Nに注目するとFR法はFP法に㌧比較して実験NO．2を除いて2〜3 倍近くの能率の惑さを示している。図3．2，図3．3，図3．4を見直すと，黒丸 のFR法の降下方向ほ，リセット・イテレージョンの降下方向を除いてあって
も，白丸のFP法に．比較して，いくらか能率の惑い事が示される。従って Powellのテスト関数に関してほ，FR法のリセット。イデレーションの非能 率とFP法の銑め性質の良さが強調された結果が出ていることに．なる。
これに対して，表3．4のrに注目してみると，FP法はFR法よりも高々2
倍の能率の良さを示し，実験NO．2ではⅠ．Nの差と逆転して，FR法の方が FP法より計算時間が早いこ．とが示されている。表3．4のFP法のRに注目し
て−みると，50′・一60％に落ち着き，表3．2，3．3の実験より も一・次元探索時間の 割合が減っていることが示されている。これ等のr及び忍の傾向ほ，それぞ
れ，（3．3）式のⅣ8の項の影響が出てきた事と，（3．7）、式の性質を良く示して1、
ると言える。
上記の結果を考えると，少なくとも，計算時間の能率ほ，FR法の方がFP 法よりも，変数の次元数が増加する紅従っで良くなることを示している。この 事実は次の実験の興味をそそる事実である。
（複合Rosenbrock関数の実験）
こ．こでほ．（3．11）式に於るパラメー一夕∽を2，3，4，5，10，…50と変化 させて−，変数の次元数に．よる収束速度の影響を調べる。
−・般にFP法ほ式（2．23）で示される1次元探索栢度どの影響を強く受ける
（参考文献3）こ．とから，どの値を10−2〜10￣11まで変化させて，1次元探索精
第47巻 第4・5・6号
−ヱヱ2− 396
度の影響を（3．11）式の2，4，10，20次元の関数に対して．調べたのが図3．13
〜3．16である。縦軸は対数目盛であり，計算時間rを1万分の1秒単位でプロ ットしてある。横軸は1次元探索精度￡を10￣方の単位でプロットしてある。白 丸がFR法，黒丸がFP法を示してこいる。又丸印に添えてある数値は，表3．2〜
3．4のⅠ．Nに対応する総イデレ−レヨン数を示している。
図3．13〜3．16から分ることは次の通りである。
イ．FR法でほ，関数の次元数に関係なく，イブ1／−ション数の意味でも，計 算時間の意味でも収速速度は，一・次元探索精度の影響を受けない。
ロ．FP法では，収速速度が一・次元探索精度の影響を受け，関数の次元数が 増える程その影響ほ大きくなる。
イ．の事実ほFR法が（2．38）式紅従って1各イデレ−ジョンごとに．，対応 する点でのGに．近似的に共役な降下方向をとっているこ．と紅よる安定性を示 す。こ．れに対して，ロ．の事実は，FP法では携行列が−・次元探索精度に直接 影響を受けて，（2．8）で示されるように降下方向動も同じ影響を受けることか
らくる不安定性を示している。
上記実験から，1次元探索精度eほ他の全の実験でほ10￣6と置いて一行ってい る。
図3．17は関数の次元数の収束速度紅対する影響をプロットしたものである。
プロットされているものほFR法，FP法に対して次の3つのパラメータであ る。
白と黒の四角形印は．，それぞれ，FR法とFP法の総イテレ−ジョン数，自 と黒の丸印は，それぞれ，FR法とFP法の全計算時間，自と黒の三角形印は，
それぞれ，FR法とFP法の全計算時間紅対する1次元探索時間の割合を示 す。
縦軸の左側（0〜100％）ほ三角形印に対する数値であり，右側（0〜400）
は四角形印と丸印に対する数値である。単位は三角形印に対しては％，四角形 印に対して−はイテレーション数，丸印に対しては秒単位となっている。横軸は 関数（3．11）式の次元数を示している。
