九州大学学術情報リポジトリ
Kyushu University Institutional Repository
Proposal of a Method for Accelerating
Transition from Exploration to Exploitation
高木, 英行
九州大学大学院芸術工学研究院
裴, 岩
九州大学大学院芸術工学府
http://hdl.handle.net/2324/1434434
出版情報:進化計算研究会. 4, pp.96-101, 2013-03. The Japanese Society for Evolutionary Computation
バージョン:
権利関係:
Exploration から Exploitation への変化を加速する手法の提案 高木英行†, 裴岩††,
,
九州大学大学院芸術工学研究院†
,
九州大学大学院芸術工学府††,
1
はじめに進 化 計 算 の 探 索 性 能 向 上 は ,進 化 計 算 研 究 の 代 表 的 な 研 究 方 向 で あ る .歴 史 的 に 見 て も ,進 化 計 算 黎 明 期 の 遺 伝 的 ア ル ゴ リ ズ ム ,進 化 戦 略 ,進 化 的 プ ロ グ ラ ミ ン グ,遺 伝 的 プ ロ グ ラ ミ ン グ 等 に 続 き ,こ こ
20
年 近 く の 間 に 差 分 進 化(
DE
)3,5) ,particle swarm optimization (PSO), ant colony optimization, bee
アルゴリズム等,様々 な 新 し い 進 化 的 ア ル ゴ リ ズ ム が 開 発 提 案 さ れ て き た4 ) .別 の 角 度 か ら ,様々な ア ル ゴ リ ズ ム に 適 用 し て 個々の 探 索 性 能 を 向 上 さ せ る 手 法 も 多々提案されてきた.例えば,局所探索に優れるmemetic
手法との組合せ,fitness
景観の近似,進 化計算の演算やcoding
の改良や提案,等である.本 論 文 の 取 り 組 み も こ の 後 者 に 該 当 す る . 本 論 文 の 目 的 は ,
exploration
か らexploitation
への偏移を加速する方法を提案し,その過程を観 察し,進化計算高速化のヒントを 得 るこ とで あ る.そのための加速法として,fitness
が低いまま 数世代変化のない個体を削除し,その分の新個体 をfitness
の 高 い 個 体 周 辺 に 生 成 す る こ と を 考 え る .こ の 考 え 方 は ,ノ イ ズ 感 度 が 高 いPSO
を 対 話型進化計算に利用するための対策として提案 した4
つの手法1, 2) のうちの1
つである「不良個 体 の 淘 汰 」に 基 づ く.こ の 手 法 を 一 般 化 す る た めに,本論文ではDE
に組み合わせて観察を行う.2 Explorationから Exploitationへの加速
基本的な考え方は,Fig. 1
のように,fitness
の 悪いまま変化のない個体を 切り 捨 て,同数の新 規 個 体 をfitness
の 良 い 個 体 の 周 辺 に 生 成 し よ う と す る も の で あ る .こ の 考 え 方 は 以 下 の よ う に パ ラ メ ト リック な Proposal of a Method for Accelerating Transition from Exploration to Exploitation
† Hideyuki Takagi (http://www.design.kyushu- u.ac.jp/∼takagi/)
†† Yan Pei ([email protected]) Faculty of Design, Kyushu University (†)
Graduate School of Design, Kyushu University (††)
Fig. 1
提案手法の概念.一定世代以上変化のない
fitness
の低い不良個体を捨て,同数の新規個体を 優 良 個 体 の 周 辺 に ラ ン ダ ム に 生 成 す る . ル ー ル で 表 現 で き る .
IF 最 悪M個 体 中 ,過 去G世 代 変 化 の な い 不 良 個 体 が あ れ ば
THEN その個体を削除 し ,最良N個体の 周 辺 に 新 規 個 体 を 生 成 す る
.
どのようにして最良N個体の周辺に新規個 体 を生成するかには,色々はバリエーションが考え られる.第
3
節では,その1つの実現方法として 上 位N個 体 の 間 で ル ー レット 選 択 を し ,選 択 さ れた優良個体を中心とする正規乱数で新規個体 を 生 成 す る こ と に す る .本 提 案 手 法 は ,親 個 体 群 か ら 子 個 体 群 を 生 成 する遺伝的アルゴリズムのような進化計算には 適用できない.
DE
やPSO
のように,1つの親個 体が1つの子個体を生成する進化計算手法に適 用 が 限 定 さ れ る .3
提案手法の評価実験 3.1 実験条件本論文では,
Table 1
の実験条件下で,DE
を用 い て 提 案 手 法 の 評 価 を 行 う.提案手法を具体的に実現するには,第
2
節で述 べたパラメータ(M,
N,
G),および,最良N個 体の中から新規個体を生成するための優良個体 の 選 択 方 法( 本 節 で の 実 験 で は ル ー レット 選 択 を採用),選択した優良個体の近傍を決定するパ ラメータ(本論文では正規乱数の標準偏差σi=i 次元変数の探索範囲×k.Table 3
を参照)によっTable 1
本 論 文 で のDE
の 実 験 条 件 個 体 数 500scale factor (F) 1.0 交 差 率 0.9
DE演 算 DE/best/1/bin
最 大 世 代 数 200 試 行 数 30
タ ス ク Table 2の10次 元14関 数
て 色々な 実 現 形 態 が 考 え ら れ る .
ま た 提 案 手 法 の 性 能 は ,タ ス ク の 特 性 と こ れ ら の パ ラ メ ー タ に 依 存 す る で あ ろ う.そ こ で 本 論文では,提案の第
1
段階として,これらのパラ メータを変えながら提案手法の性能を観察する.ベンチマーク関数は
CEC2005
ベンチマ ーク 関 数 セット6) か らTable 2
に 示 す10
次 元 のF1〜F14を用いる.これらの関数は最小値を
0
とする最小 化 問 題 で あ る .Table 2
評 価 実 験 に 用 い る14
ベ ン チ マ ー ク 関 数 .関 数 の 性 質 は 以 下 の 記 号 で 表 す(Uni=Unimodal, Mul=Multimodal, Sh=Shifted, Rt=Rotated, GB=Global on Bounds, NS=non- separable, and S=separable.)
No. 関 数 名 探 索 範 囲 性 質 F1 Sh Sphere [-100,100]10 Sh-Uni-S F2 Sh Schwefel 1.2 [-100,100]10 Sh-Uni-NS F3 Sh Rt Elliptic [-100,100]10 Sh-Rt-Uni-NS F4 F2 with Noise [-100,100]10 Sh-Uni-NS F5 Schwefel 2.6 GB [-100,100]10 Uni-NS F6 Sh Rosenbrock [-100,100]10 Sh-Mul-NS F7 Sh Rt Griewank [0,600]10 Sh-Rt-Mul-NS F8 Sh Rt Ackley GB [-32,32]10 Sh-Rt-Mul-NS F9 Sh Rastrigin [-5,5]10 Sh-Mul-Sep F10 Sh Rt Rastrigin [-5,5]10 Sh-Rt-Mul-NS F11 Sh Rt Weierstrass [-0.5,0.5]10 Sh-Rt-Mul-NS F12 Schwefel 2.13 [-100,100]10 Mul-NS F13 Sh拡 張F8,F2 [-3,1]10 Sh-Mul-NS F14 Sh Rt ScafferF6 [-100,100]10 Sh-Rt-Mul-NS
3.2 予備実験
最初,
Table 3
の予備実験Exp1-1
で提案手法の 有無による収束状況を比較観測した.その結果,(
DE
+提案手法)は5
関数(F3,
F8,
F11,
F12,
F14) で通常DE
と同等性能か最終世代で若干良い程度 であるが,残りの9
関数では顕著な収束高速化が 見 ら れ た .そこで,
DE
で各パラメータ自体の最適化を試 みる.ただし数日では計算が終了 し ない 程計 算Table 3 2
つの予備実験でのパラメータ条件.PS
とSR
は 個 体 数 と 探 索 範 囲 を 示 す.実 験No. M N k G
Exp1-1 PS×0.25 PS×0.01 SR×0.05 5 Exp1-2 PS×0.30 PS×0.30 SR×0.37 6
コストが高いので,このパラメータ最適化では,
Table 4
の簡略化した条件で行った.適当にパラメータ値を決定した予備実験
Exp1-1
より良くな ればよい,という程度の目安である. こうして 得られた14
関数のパラメータ値(M,
N,
k,
G)の 平均値が,Table 3
の予備実験Exp1-2
の値である.Table 4
簡略化した提案手法パラメータ最適化の 実 験 条 件
個 体 数 100 scale factor (F) 1.0 交 差 率 0.9
DE演 算 DE/best/1/bin
最 大 世 代 数 20 試 行 数 30
タ ス ク Table 2の5次 元14関 数
しかし,予備実験
Exp1-2
の収 束高 速 化 の 効 果 は明らかに予備実験Exp1-1
より悪く,通常DE
と 変わらなかった(Fig. 2
参照).もちろん,Table 3
の予備実験Exp1-2
の値は,少ない個体数と少な い 世 代 で ,異 な る 次 元 数 の タ ス ク を 用 い ,さ ら に,14
関数でのパラメータの平均値であるので,最適とはとても言えないが ,それにしても効果 の差極端に異なった.そこで,次節で,この提案 手法のパラメータ値と収束性能の関係を観察す る こ と に す る .
3.3 提案手法のパラメータ値と収束性能 収束性能が悪かった予備実験
Exp1-2
の4
つのパ ラメータ値を,1
つずつ収束性能が良かった予備実験
Exp1-1
のパラメータ値に置き換えて収束状況を観察する.
Table 5
にこれらのパラメータ値 を 示 す.結果を
Fig. 2
に示す.また,第10, 100, 200
世代 目での通常のDE
と提案法(通常DE
にTable 5
の 各Exp
条 件 の 提 案 手 法 を 加 え た 方 法 )の 収 束 特 性に有意な差があるかどうかをWilcoxon
の符号 検 定 で 調 べ ,Table 6
に 示 す.100 101 102 103 0
2000 4000 6000 8000 10000 12000
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 2000 4000 6000 8000 10000 12000 14000
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 1 2 3 4 5 6 7 8 9x 107
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 2000 4000 6000 8000 10000 12000 14000 16000 18000
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 2 4 6 8 10 12 14 16 18x 108
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 50 100 150 200 250 300 350 400 450 500
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
20.3 20.35 20.4 20.45 20.5 20.55 20.6 20.65 20.7
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
10 20 30 40 50 60 70 80 90 100
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
20 40 60 80 100 120 140
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
6 7 8 9 10 11 12
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 1 2 3 4 5 6 7 8 9 10x 104
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 5 10 15 20 25
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
3.85 3.9 3.95 4 4.05 4.1 4.15 4.2 4.25 4.3 4.35
Generation
Fitness
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
Fig. 2
提案手法のパラメータを変えた場合の収束特性.
グラフ中のExp
番号はTable 5
を参照.適用ベ ン チ マ ー ク 関 数 は 上 段 か ら 順 に 左 か ら 右 に か け てF1〜F3,F4〜F6,F6〜F9,F10〜F12,F13〜F14.Table 6 Fig. 2
の第10
,100
,200
世代目における,通常DE
とDE
+提案手法との収束差のWilcoxson
の 符 号 検 定 結 果 .Exp
番 号 はTable 5
を 参 照 .**
と*
は 各々危 険 率1%
,5%
で 有 意 で あ る こ と を 示 す.検 定 世 代 DE vs. F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12 F13 F14
Exp1-1 ** * ** ** ** **
Exp1-2 第10世 代 Exp2-1
Exp2-2 ** * ** ** ** ** ** **
Exp2-3 ** ** * * * **
Exp2-4
Exp1-1 ** ** ** ** ** ** ** ** **
Exp1-2 ** ** ** * * **
第100世 代 Exp2-1 ** ** ** ** ** * **
Exp2-2 ** ** ** ** ** ** ** ** **
Exp2-3 ** ** ** ** ** ** ** ** ** ** * **
Exp2-4 ** ** * ** ** * **
Exp1-1 ** ** ** ** ** ** ** ** * **
Exp1-2 ** ** * ** ** ** ** *
第200世 代 Exp2-1 ** ** ** ** ** ** * **
Exp2-2 ** ** ** ** ** ** ** ** * ** **
Exp2-3 ** ** ** ** ** ** ** ** ** ** * ** **
Exp2-4 ** ** * ** * ** ** *
Table 5 2
つの予備実験パラメータを組み合わせた評価実験.
PS
は個体数,SR
は次元毎の探索範 囲 を 示 す.実 験No. M N k G
Exp2-1 PS×0.25 PS×0.30 SR×0.37 6 Exp2-2 PS×0.30 PS×0.01 SR×0.37 6 Exp2-3 PS×0.30 PS×0.30 SR×0.05 6 Exp2-4 PS×0.30 PS×0.30 SR×0.37 5 Exp1-1 PS×0.25 PS×0.01 SR×0.05 5 Exp1-2 PS×0.30 PS×0.30 SR×0.37 6
4
提案手法パラメータと性能の考察Table 6
とFig. 2
を観察すると,Nとkが小さい 場 合( 寒 色 系 グ ラ フ のExp1-1, Exp2-2, Exp2-3
) に収束性能が顕著になる.これらの値が大きい 場合(暖色系グラフ)でもTable 6
では通常DE
よ りも有意な性能差が見られるが,Fig. 2
から明ら かなようにその効果は限定 的に な る.不活発な 不良個体を削除して新規に個体を生成する場合,なるべく上位の優良個体(実験で全個体の上位
1%
)のできるだけ近傍(標準偏差が探索範囲の5%
の正規乱数)にした方が良い,という今回の 観察結果は,不良個体を切り捨てるのであれば,exploration
か らexploitation
へ の 移 行 を 早 め た 方 が よ い ,こ と を 意 味 し て い る と 思 わ れ る .通常この方針は早期に局所最 適解 に捕 らわ れ や す く な り が ち で あ る と 危 惧 さ れ る .し か し ,
fitness
が悪く何世代も変化のない不良個体を抱えておくことが初期収束問題を防ぐわけではない.
今 回 の 実 験 で は ,通 常
DE
の 収 束 よ り 悪 化 す る(
DE
+提案手法)がなかったことから,この手法 によって初期収束は観察されていない.本提案手 法が初期収束を増やすのかどうか,増やすとした らどの程度の頻度か,など,今後の提案手法の普 及のためにこのリスク評価を行う必要があろう.次 に ,収 束 状 況 を 全 個 体 の 分 布 の 標 準 偏 差 で 観察する.全個体分布の標準偏差を
10
次元関数 の次元毎に求め30
試行平均を得る.次にこの10
個の標準偏差の平均値を求 める .こうして各世 代 で1
つ の 平 均 標 準 偏 差 を 得 る .σ第i世 代
= 1
次 元 数次 元 数
g=1
⎛
⎝
1
試 行 数試 行 数
t=1
σigt
⎞
⎠
この標準偏差の偏移を
Fig. 3
に示す.極めて特徴 的な点は,σ第i世 代が小さくなっていく場合(
すな わち全個体分布が小さくなっていく場合)
は,収 束がうまく行っており,提案手法の効果も顕著で あるが,σ第i世 代が大きくなる場合は,収束がう ま く い か ず,提 案 手 法 の 改 善 効 果 も 期 待 で き な いか少ない点である.σ第i世 代は次元毎の標準偏 差 を 次 元 で 平 均 し て し まって い る た め あ く ま で 簡 易 指 標 で あ り,こ の 数 値 か ら だ け で は 標 準 偏 移の拡大が個体分布全体で起きているのか特定 の次元のみで起きているのかは判らない.また,なぜ個体分布の拡大が生じるのか,性能悪化の結
100 101 102 103 0
100 200 300 400 500 600
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 10 20 30 40 50 60 70 80 90
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 100 200 300 400 500 600 700
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 10 20 30 40 50 60 70 80 90
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 50 100 150 200 250 300 350 400
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 20 40 60 80 100 120 140 160
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 50 100 150 200 250 300 350 400
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 100 200 300 400 500 600 700 800
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0.5 1 1.5 2 2.5 3 3.5
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 0.5 1 1.5 2 2.5 3 3.5
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 5 10 15 20 25 30 35 40
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 1000 2000 3000 4000 5000 6000 7000 8000
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
100 101 102 103
0 100 200 300 400 500 600
Generation
Standard Deviation
DE Exp2−1 Exp2−2 Exp2−3 Exp2−4 Exp1−1 Exp1−2
Fig. 3
提案手法のパラメータを変えた場合の全個体の標準偏差の遷移状況.グラフ中のExp
番号はTable 5
を 参 照 .適 用 ベ ン チ マ ー ク 関 数 は 上 段 か ら 順 に 左 か ら 右 に か け てF1〜F3,F4〜F6,F6〜F9, F10〜F12,F13〜F14.果が分布の拡大なのか,分布の拡大の結果が性能 悪化なのかは,まだ解析できていない.今後の課 題であるが,この解析からタスクの難易度や探索 戦略の切替などの情報が得られる可能性もある.
5
結論不良個体を淘汰し優良個体近傍に新規個体を生 成することで進化計算の収束を加速する考え方を 提案した.その具体的実現時のパラ メー タを 変 化させた時の収束特性と個体分布状況の観察を 行った.その結果,提案手法はほとんどの場合に
DE
の収束性能を向上させ得ること,具体的実現 時には提案手法のパラメータと性能について傾向 を明らかにしたことと更なる改善がパラメータ の最適化と観察から得られる可能性があること,個体群の分布の観察から更なる改善に繋がる知 見が得られる可能性があること,などを示した.
更 な る 性 能 向 上 と ,新 た な 高 速 化 の ヒ ン ト が 得られる可能性があるので,第
4
節で述べた解析 を 続 け て い き た い .謝辞
本 研 究 は 科 学 研 究 費( 課 題 番 号
23500279
)の 助成を受けたものである.筆者の裴岩は吉田奨 学 会 か ら の 奨 学 金 を 受 け て 本 研 究 を 遂 行 し た . こ こ に 感 謝 す る .参考文献
1) Yu Nakano and Hideyuki Takagi, “Influence of Quantization Noise in Fitness on the Performance of Interactive PSO,” IEEE Congress on Evolution- ary Computation (CEC2009), Trondheim, Norway, pp.2146–2422 (2009).
2) 中野雄,高木英行「対話型PSO」第19回インテリ ジェン ト シ ス テ ム シ ン ポ ジ ウ ム (FAN2009),会 津 若 松, pp.228–233 (2009年9月17-18日 ).
3) Price, K., Storn, R., and Lampinen, J., “Differ- ential evolution: A practical approach to global optimization,” Berlin, Germany: Springer-Verlag, (2005).
4) 「進化技術ハンドブック〈第1巻〉基礎編」電気 学会進化技術応用調査専門委員会(編集)近代科 学 社 (2010年1月).
5) Storn, R. and Price, K., “Differential evolution — A simple and efficient heuristic for global optimiza- tion over continuous spaces”, Journal of Global Op- timization 11. Norwell, MA: Kluwer, pp.341–359 (1997).
6) P. N. Suganthan, N. Hansen, J. J. Liang, K. Deb, Y.-P. Chen, A. Auger, and S. Tiwari, “Problem
Definitions and Evaluation Criteria for the CEC 2005 Special Session on Real-Parameter Optimiza- tion,” in Technical Report. 2005. Nanyang Tech- nological University, Singapore, May 2005 and KanGAL Report #2005005, IIT Kanpur, India.
(http://www3.ntu.edu.sg/home/EPNSugan/).