微分を用いない制約無し最適化手法の収束条件
9
0
0
全文
(2) . 北海道教育大学紀要 (第2部A) 第4 1巻 第2号 lof Hokka Jouma ido Un iver i ty ofEducat i s ion l I A)Vo t l on(Sec ‐41 .2 , No. 平成3年3月 Mar ch ,1991. 微分を用いない制約無し最適化手法の収束条件. 金 光 秀 雄 北海道教育大学函館分校総合科学教室 函館 0 40. Convergence. Condi ions for Unconstrained OPti1 t izat ion N【 1 1 ethods ives without Derivat ‐. Hideo KANEMITSU 1nt i e t at ed Ar き り r sandSc ences Laborato l 1γ, Hakodate Col ege , Hokka ido Un iver i i styofEducat on Hakodate040 Japan ,. Abst・act Thi s paper considers convergence properties ofiterative methodsfor uncol i l straied opt ln‐ izat ion wi thoutderivatives‐ Some methodsiterate mi i ionofd i ionset n mi zat rect s{仏, 偽, … … ‘ ‘d i ion set methods”)‐ Many algor 4n} ( rect i th[ns wi i th “d ion set methods” have been rect proposed,andtheconvergence prope賞ieso ftheseargor i thlnsareshovm in Powe l lmethod [3] et al he general convergence propenies of “direction set methods”is not h ‐ However ,t s own‐. Thi ’ Fi ti s papershowsthe propenies of“ l inesearch’ rs tconstnlcts a “direct ion mlnlm‐ ‐ ’ ‘ ‘ ” izat ion me口 l ine search and shows t od by using l h i 食 f r h i e o e e t h p p so s met od , . Next a “dir t thod”i ecionset me t r l i scons ructedbyt ion minimi ion method’ andthi e”d rect zat sleadsto , the convergence conditions ofth i F i l l h s method t n i a c o n vergence propertes oftherela×a- y ‐ , e ion me t thodandthe Dav ies ‐Swarm‐Campey me thod[4] whichha. venotbeenrepor l tede sewhere. are shown‐. 1. は じ め に. 最適化問題を解くため の数値的手法は 最近めざましい進歩をとげ 幅広い分野での応用が急 , 速 , に進められ ている‐ 最適化問題 の中で制約条 件のない問題を制約無し最適化問題 と呼び 次のよう , 6 1 ( ).
(3) . 金. 168. 秀. 光. 雄. に定式化される.. f(“, ェERn れている こ こ で 関 数 f:Rn→R は目的関数 と呼 ばれ, この問題 を解くた めの手法 が多く提案さ. 最小化. 分を用い ない手法は, 目的関数 が非常に複雑でその微分を解析 的に求 ] 2 1 ] [ . とりわ け関数の微 ,[ めることができない場 合な どに有効である. , ,dn} , 偽 r …・ 微分を用い ない制約無し最適化問題 を解くための手法の中で, ある方向の集合{〆 「 を定め, その方向の最 小化を繰り返す手法がある (以後, この手法を 方向集合法」 と呼ぶことに な「方向集合法」 を用い たアル ゴリズムが提案されてきている. しかし する) . 現在まで, さまざま ] な どで示されている l l法[ 3 ながら, 「方向集合法」 の収 束性については, 共役方 向を用いた Powe が, 「方向集合法」 全体としての収束性は証明されていない. 「 「 本論文で は, まず, 「直線探索法」 の性質 を明らかに した後, 直線探索法」 を用いて 方向最小 「 「 化手法」 を構成 し, その性質 を明らかにする. つぎに, 方向集合法」 を 方向最小化 手法」 を用い と て構成し, この手法の収束条件を導く. 最後に, 従来収束性 が示されていなかっ た軸方向探索法 「 ゴ ズ ム で あ る こ と を 示 し, 両 者 の Dav i ‐swam‐Campey 法 [4] が 方 向 集 合 法」 を 用 い た ア ル リ es. アルゴリズムの収束性を示 す.. 2. 記. 法. n 1) 0 で な い ベ ク ト ル の 集 合 d , mER を ,偽,…,〆 Dm= {感,物,…,4n}. で表す 2) 後,物,…,4n の張る部分空間 をspan [D一 で表す. すなわち, span [仏, 偽, …, 4n]=span[Dm]= {2α威 ー雄ER} i=I. とな る.. ] で表す‐ n ン集合を As彰, ,Dm 3) s pan[Dm] を ズ ,ER だけ平行移動して得られるアフィ すなわち, As』, panの一} ,十span[D一 ;{ね 十dldes ,Dm]=%. ={%1ズ;ね 十X 館仏} i=I. と な る.. 4) 1,2,…,mの要素からなる添字集合 をlm で表す. すなわち, lm={1,2,…,m} と な る.. 5)′:Rn→R と ね に対して定 義される準位集合 を次のように表すことにする. n L( 工J={メ ヂ(“ ≦ヂ 伝送 尤ER } 6) 今後, アル ゴリ ズムを次のように表す ことにする. (出力変数1, 出力変数2, …, 出力変数p):アル ゴリ ズム名 (入力変数1, 入力変数2, … …, 入 力 変 数 q);. {説明}. この意味は, 入力変 数1, 入力変数2, …, 入力変数qを与えてアル ゴリ ズム名で識別される が得ら アル ゴリ ズムを実行すると, その結果と して出力変数1, 出力変数2, ……, 出力変数p 6 2 ( ).
(4) . 微分を用いない制約無し最適化手法の収束条件. 169. れ る と いう こ と で あ る ま た {説明} は入力変 数等の説明 である 特に出力変 数が1つの場合は . .. 両側の ( ) を省いて表現 する ‐. 3. 直線探索法 3-- 直接探索法のアル ゴリ ズム 直線探索法は大 きく二つに分けることが できる 一つ は正確な直線探 索法 もう一つ は有限回の . , 手続きで定義される直線探 索法である ここでは 正確な直線探索 法について述べる ‐ , . ・アルゴリズム :直線探索法 α ,: =Lm(エ ー ,仏); {d ,方向 の最小化} た だ し, α は , αだ {α1f α.十α4)= mi n/伝 ,十β域)} βER. と す る‐. こ の と き, ヂECI な ら ば クTア(繍 十α )= 0 ,d,. (1). が成立 する. 但し, ″=(a/a寛 ) i , T は転置である. 3‐- 直接探索 法の性質 補題1) fECIが狭義 の凸ならば (1)を満足する点 は一意である , . 証明) 今, (1)式を満足するα ) が存在すると仮定する と, fの狭義の凸性より , 2(α 2 .≠α ,α , /(ェ十α .d)〉/(ヱ十 のd)+(α,一 物)グTア(ズ十 α 2d)α =f(尤十α ) 2d. 同様にして, /(ェ十α )クTア(ズ十α 2d)〉/(エ十α,d)+(α 2-α. .α)〆. となり, 矛盾する‐ よっ て(1)式を満足 する 燭 は一意である 圏 .. 4‐ 方向最小化 手法 4.1 方向最小化手法のアルゴリズム 方向集合 Dm を定め, これらの方向の直線探 索を行うアルゴリズムを次 のように構成 する . ・アルゴリズム:方向最小化手法 続十.:= MD 伝. ,D一 ; {〆(i=1,2,…,m)EDm 方向の最小 化} for i:= l. to. m. do. beg in α ,:=Lm(ズ ー , 頒);. {〆 方向の最小化}. 為十1:ニエ ー十 α ,4. end;. 6 3 ( ).
(5) . 金. 170. 秀. 光. 雄. 4.2 方向最小化手法の性質 方向最小化手 法は次のよう な性質を持っ ている. は 補題2)/巴CIのとき, %* が As[ % , ,Dm] 上の最小点となるための必要条件 , ワワ( )↓span [Dm] を満足することである. pan[Dm] が存在して, )↓span[Dm] を満足しない とすると, ある des ) 証明 ×* が ″ツ( 尤*. (2). ワ ツ(尤*)α≠ 0. 1- 矛盾する. 1 となり, 明らかに〆 が As脳, ,Dm] 上の最小点となることに 分条件 となるための必要十 尤 系1) ′ECIが狭義の凸関数の時, が が As [ , ,Dm] 上の最小点 は,. ダリ(が)↓span[Dm] を満足する ことである.. - 証明) 必要条件は補題2より明らか, 十分条件 は, (2)式を満足するもう一つの点 × が存在 していると仮定すると, 補題1において, d =工*-ズー,. α,= 0,. α2; 1,. ズ ニエ. とおくことにより, 明らか. 霊 ・ 定理1) 関数′巴CIが狭義の凸関数のとき, 方向最小化手 法%m十 .EMD伝. ,Dm) において, ズ が As脳,Dm] 上の最小点 となるための必要十分条件は, (3). 拓m十,ニズ 1. を満足することである.. 証明) 1) 必要条件 方向最小化のア ル ゴリズムより (4). ,4 繍 ” =エ ー十 ≧ α , 均 :=Lm 脳,依);. {仏 方向の最小化}. このとき, (1)式と補題1より, 任意のiel m に対して ″ リ(為 十 α威)後 に 0 なる 鱒 は, 一 意 的 に 定 ま る. ま た, 補 題 2 より, 任意のiE1 mに対して )4 = 0, 4EDm ″ ワ(% . が 成 立 する‐ こ れ ら の こ と よ り, ぬ = 0,. i=1 ,2 ,…,m. すなわち, (4)より 籍m+1=尤1. が成立する. 圏 2) 十分条件 仮 定 す る と,系 1 よ り,あ る dEspan 絢十 , が As 脳,Dm]上 の 最 小 点 で な い と ,=x, で,ェ. [Dm] が存在して, (5). )〆≠ 0 ダ リ(%m十,. iE1 が成立する. また, despan[Dm] より, ある蛇≠0( m) が存在して, (6). d= 3 β純, i=I. 4EDm. が成立する. このとき 6 4 ) (.
(6) . 微分を用いない制約無し最適化手法の収束条件. 171. ″Tア(第m . 十)d = ″Tア(妬m十. )・ 2 ゑ4 i=1. = × 姦 ‐ ″Tア(濁m十. )・4 i=1. (7). m m ; 芝 髭 ・ ″Tア(尤 ,十 3 α .仏)・ 仏 i=l. i=1. となり, 補題1と直線探 索における f の値の単調減少 性よ り 妬 =% のとき =0 α . . , m十 ,. ( i=1 ,2 ,…,m)と な る か ら m. m. i=l. i=1. X 逐 ・ ″Tア(劣 .十 宝 α .後). 偽. = 2 A ‐ ″Tプ 錠叶. )‐ 4 = 0 1=1. が成立し, (5)と矛盾 する よっ て 続 .=葛 のとき ね は As[ x . 十 . , , ,Dm] 上の最小点を与 える. 圏. 5‐ 方向集合法 5‐ー 方向集合 法のアルゴリ ズム 以上の方向最小化手法を用いることによ り 次のような方向集合法 のアル ゴリズムを構成できる , . ・アルゴリズム :方向集合法 } D糟);{初期点 ズq )と方向集合 D ;{雄1 ) d夢 … d鐙 %*:=MDS(dl }方向をあたえて, 点の , m , , , } 移動がなくなるまで方向最小化手法を繰り返すことによ り z を求める} , stepl k:=1; {k:繰 り返 し回数} ) D轡); {〆 k ) step2 x瀞.: = MD( )方向の最小化} i=1 ( i ェr , ,2 ,…, m) ED培 )! f l lエ器.-雌k step3 i f= ○ ): =×盟 ; step4 xr十1 .. then. * 尤 : =尤瀞.;end o f MDs;. 次の繰り返 しで用いる方 向集合 Drl }を定める ; k:=k+1 と して s tep2 に÷戻‐る ;. このよう にして方向集合法は点の移動がなくなるまで方向最小化手法を繰り返す アルゴリズムと して 構 成 さ れ て い る 定 理 1 と s tep3により方 向集合法 の収束性が示されたよう に考えられるが . , 定 理 1 は 葛m十,=% な る 点 に 収 束 す る こ と を 前 提 と し て い る そ こ で 以 降 の 定 理 に よ り . , ,燭m十,=z ,な. る点に収束 することを示す まず D密 )をD と固定した場 合の収束定理について述 べる . m . 5‐2. 方向集合法の収束条件. 方向集合法の収束条件に関する定理を以下に示す . 定理2) 方向集合をDm に固定した方向集合法 MDS(dl ) D ) が 次の二条件 , m , I 1) fEC は狭義の凸関数 6 5 ( ).
(7) . 金 光 秀 雄. 172. ) D一 がコンパクト ) )nAs[dl 2) L( 工? , を満足する とき, その収束点 ェ* は, As脳, ,D一 上でのヂ の最小点 を与える. 証明) アル ゴリズム MD により, 任意の k に対 して, ) 1 ) ) )≦f( (8) f( %そ 尤r+ が成立する. また条件1)より, ′ は下に有界である から極限をもち, 1 ) ) ) imヂ( )=l l imf( (9) 尤r+ ズr k-o o. k→o o. ) Dm]であるか ら, ある部分列 K が k } { )EL ぜ1 )nAs脳? さらに, 条件2)と(8)より, z , と れ て, kE K に 対 して, ( 10). ( 11 ). 1 ) 1 ) ) };%r+ im {寛r+ }ニズr) l im {尤f ,l kEK. kEK. 0 )より, 1 となる. ヂ の連続性 と(9) ,( 1 ) 1 ) ) )=≧蜜 月 蒋十 ロm バ ザ);” が)=ヂ( ズr+ kEK. と なる. こ こ で, }感 仏 ED 1 );尤r)+ 〆 一w 劣r+ m , i=I. t ep3 お よ び step4 に よ り, とすると,(8)と/ の連続性,およびアル ゴリズム MDS のs 任意のぬ に対して, m. 1 )十 三 ) )=/( ヂ( 工r 工r+ i. =l. ) (12. m. }+Xα威) 4)≦/( 尤r i=I. i= 1,2,…,m) と な る. し た が っ て, と なる. し か し な が ら, 補 題 1 よ り, αFに 0( );ズr) r+1. となり, 定理1より, ヂ の最小点に収束する. 圏 定理2より, 次の定理を導くことができる. } ) D吊 定理3) 方向集合法 MDS (燈1 , ) が次の三条件 1) ヂECIは狭義の凸関数 ) ) がコ ンパク ト 2) レ ベ ル 集 合 L(感1. ) ] が全空間 r を張る 3) 任意の k に対して, span [D覧 とき その収束点 をすべて満足する x* は Rn上で定義されたf の最小点を与える. , 定理2 は次のような線 形凸計画問題Aの解を与える ものである.. 問題A ) ( 13. 最小化 f(“,. ) (14. 条. 件. n %ERn , ′:R →R の凸関数. i= 1,2,…,p), α鳶-ろ ,= 0, (. 魚ERn ーER ,ろ. }と Dm を与えてやる ) Dm)において, ( )式を満足する ように膜1 14 つまり, 方向集合法 MDS(感1 , と, 定理2の二条件を満足す れば方向集合法によって求められた点 ェ は問題Aの解 となる. 定理3は制約無し最 適化問題における, 方向集合法の収束定理である. 特に方向集合 がn 個の方 向で構成されているとき,条件3)は,n 個の方向が一次独立である ことに置き換えることができる.. 6 6 ( ).
(8) . 、 の収束条件 い い制約無し最適化手法 微分を用いない ・… 訊 の 条件 、 ,. 173. 5‐3 方向集合法 を用 いたアルゴリ ズムの収束性 以下に具体的なアルゴリズムをとりあ げ, その収束性を定 理3に基づいて示す . アル ゴリズム:軸方向探 索法 (図1) ) D ;{初期点 燈1 }と方向集合 D ={偽 物 … e}の方向 を座標軸方向として ェ:= MCD(dl , 。 ,。 与えて, 点の移動がなく なるまで方向最小化手法を繰り返すことにより 尤 を求める} , stepl k:=1; {k:繰 り返 し回数} ) D ; {4( i=1,2,…,n ヱ群.:= MD(踏k )ED。 方向の最小化} , )1 tep3 i f i加 盟.-雌k s ー = o then ェ*: ニズ盟,;end of MCD )=尤胤 ;k:=k+ 1 と して s step4 dk十1 tep2 に 戻 る. , step2. このアルゴリズム は, 方向集合を常 に座標方向にとっ ており 各方向が互 いに一次独立となる , . のため, 本アルゴリズム において, 定理3の条件1)と2)を満足す れば 最小点に収束する , .. 次 の ア ル ゴ リ ズ ム は Davi es 1964 rm, Campey 法 ( ) と 呼 ば れ る ア ル ゴ リ ズ ム で, 基 本 的 に , Swa. Ros 196 0 ) に線形探索法を組 み合わせた方法と考えることができる この手法は enbrock 法 ( . , 在でも有力な手法 の一つとして用いら れている .. ア ル ゴ リ ズ ム :Davi es ‐Swa rm‐Campey 法 [4] (図 2) * 1 } 1 }と 方 向 集 合 D昔 MDS := )= {〆 C 1 l d≦ ) … … dg (ズ~,D 剤 ; {初 期 点 ェ~ ) 尤 i } の方向を座標 , ,. 軸方向としてあたえて, 点の移動がなくなるまで方向 最小化手法を繰り返 すことにより *を求 ヱ める. 次 の繰り返しで用いる方向集合は, 方向最小化 での移動ベクトルとそれに直交する n-1本 のベクトルによっ て構成する.} stepl. k:=1 ;. {k:繰 り返し回数}. ) D菩) k ) )方向の最小化} ); {〆 i=1,2,…,n ~ ( 尤禦,:= MD(dk )ED菩 , tep3 i f l l工豊.-ェr 1 = o then 工*:=工禦,;end of MDSC s k 十 1 ) )と し t 4 ~ =ズ豊¥)-工r d sep , )上d k 十 1 } 残りの方向を dFI i≠j f ( i ), ( j=1, …,n) , step2. X2. X2. 多彩 xl 図-. XI. 軸方向探 索法. 図2 67 ( ). Dav i es ‐swann ‐Campey 法.
(9) . 金 光 秀 雄. 174. と 定 め, k:=k十 1 と し て step2 に 戻 る.. このアル ゴリズムでは, 各方向はお 互いに直交して おり, 定理3の条件1), 2)を満足して いれ ば, 最小点に収束する. この二つのア ル ゴリズム は従来まで収束性が示されていなかっ た. ここでは方 向集合のアル ゴリ , ズムを一般化 し, その収束条件 を導くことにより, 両手法の収束性を示 した. また定理3の条件3) にあ ズム ゴリ を構成する アル 方向集合法の つまり 方向の独 立性という ことが非常に大 切であり, たっ ては, 方向の独立性を保存するようにしなけれ ばならない.. 6.. おわ り に. 本論文で得ら れた結果を要約 する‐ ( 1 ) 正確な 「直線探索法」 の性質 を明らかにした. 2 ( ) 「直線探索法」を用いて 「方向最小化手法」を構成し, その性質 を明らかにした. ) 「方向集合法」を「方向最 小化手法」を用いて構成 し, この手法の収束条約を導 びくとともに, ( 3 線形凸計画問題に 「方向集合法」 を適用して解 が得られるための条件 を示した. 4 ] が 「方向集 i swam‐Campey 法 [ ‐ e s ( 4 ) 従来収束性 が示されていなかっ た軸方向探索 法と Dav 合法」 を用いたアル ゴリズムであることを示し, 両者のア ル ゴリズムの収束性を示した. 今後の課題として は, ) 直線探索法を用 いない手法の収束性 を検討する. ( 1 ) 「方向集合法」において, 有限回の手 続きで定義さ れる直線探索法を用いたときの収束条件 を ( 2 検討する. ( ) 「方向集合法」の収束の次数について検討 する. 3 が考えられる. 謝辞 本研究を進めるにあたり,日頃より ご指導していただい ている北海道大学. 新保 勝 教授,. 宮腰政明 助教授,ならびに大変有益なご助言を頂いた北海道大学 伊達 惇 教授に深く感謝致しま す.. 参考文献 l i i ivat i ew. The ComPuter1ouma vesarev imi ion wi thouteval ng der i uat , t F1 zat on min tcher e ,R.: Func ),33一41 8( 1965. [1]. 8 ) 1 97 [2] 今野浩, 山下浩:非線形計画法, 日科技連 (. lvar i thout i abl esWi t imun onofsevera ind ingthe min loffunc f ic i thodforf l l ent me [3] Powe .D,:Anef , M.J 6 2 1 5 5柵1 ) l 7( 1 9 6 4 h C J ives ivat r ourna, i at ng der cal cul , ,T e omPute ion imi thodofOPt zat i tsear ch me . lopmentofanew d rec .Ltd .C.1 , tonthedeve ,1 [4] Swam, W.H.: RePor ) h N 1 9 6 4 R t 4 / 3( oe6 l工ns t Laboratow esearc tmmen Cent ra. 6 8 ( ).
(10)
関連したドキュメント
従って、こ こでは「嬉 しい」と「 楽しい」の 間にも差が あると考え られる。こ のような差 は語を区別 するために 決しておざ
算処理の効率化のliM点において従来よりも優れたモデリング手法について提案した.lMil9f
に関して言 えば, は つのリー群の組 によって等質空間として表すこと はできないが, つのリー群の組 を用いればクリフォード・クラ イン形
2010年小委員会は、第9.4条(旧第9.3条)で適用される秘匿特権の決定に関する 拘束力のない追加ガイダンスを提供した(そして、
この条約において領有権が不明確 になってしまったのは、北海道の北
12―1 法第 12 条において準用する定率法第 20 条の 3 及び令第 37 条において 準用する定率法施行令第 61 条の 2 の規定の適用については、定率法基本通達 20 の 3―1、20 の 3―2
2021年9月以降受験のTOEFL iBTまたはIELTS(Academicモジュール)にて希望大学の要件を 満たしていること。ただし、協定校が要件を設定していない場合はTOEFL
このような状況において,当年度の連結収支につきましては,年ぶ