宇宙往還機等の誘導制御系の設計においてモンテカルロシミュレーションを用いた統計 的な評価手法はトータルな誘導制御性能を確認するための標準的な手法となっている．さ らに，これを設計問題に適用し，モンテカルロ評価の結果を評価関数として制御パラメー タの最適化を行う統計的最適化についても過去に複数の応用事例があり，様々な不確定性 に対してミッション達成確率の高い飛行制御系を設計するための有効な手法であることが 示されている[5][6][9][27][28][29].
本章では統計的設計手法について説明し，これに対する新しいアプローチとして，近年，
統計的機械学習等の分野で開発されている確率推定に基づく手法の適用を提案し，例題に よって有効性を確認する．4.1節では統計的なロバスト性解析およびそれを拡張した設計問 題について記述する．4.2節では，統計的設計の計算負荷低減を図るアプローチの一つとし て，サンプル集合から確率密度分布あるいは，確率密度比を推定する手法について記述す る．4.3節ではモンテカルロ評価を行うために，指定した確率密度分布をもつサンプルを発 生するためのサンプリング手法について記述する．4.4節では4.2, 4.3 節で記述した手法を 飛行制御系の設計へ適用し，手法の有効性を示す．
4.1 統計的設計問題
4.1.1 統計的ロバスト性解析
統計的なロバスト性解析手法はパラメータの変動を確率変数としてとらえ，確率によっ てシステムのロバスト性を評価するものである．システムに含まれる不確かなパラメータ をε=[ , , , ]ε ε1 2 εk とし，システムがある要求を満たさない(不安定となる，応答性要求を満 たさない，など)確率をPとする．このとき，真の確率を解析的に求めることは一般に困難 であるが，以下に述べるようなモンテカルロ解析によって，設計要求を満たさない確率を 実験的に求めることができる．
(1)与えられた確率密度関数に従ってN個の乱数ベクトルε ε1, , ,2 εNを発生させる (2)各サンプルに対して，設計要求を満たすかどうかを調べる．
(3)下式により設計要求を満たさない実験的確率を求める．
Pempirical=NU/N (4.1.1-1)
ここに，NUは設計要求を満足しないサンプルの数である．
統計的な解析手法の長所として，サンプル数を大きくとればロバスト性を正確に評価で きること，ある精度を得るために必要なサンプル数がパラメータの数と無関係であること，
線形・非線形・時変・時不変・連続・離散にかかわりなく，広い範囲のシステムや評価基 準に容易に適用することができること, などがあげられる．一方，推定精度を良くするため
68
には多数のサンプルを必要とし，計算負荷が高くなることが短所としてあげられる．
4.1.2 統計的ロバスト設計
前節で記述した統計的解析手法は設計問題へ拡張することができる．即ち，システムが 制御系のフィードバックゲインなどの調整可能なパラメータを含む場合，設計要求を満た さない確率を最小化するパラメータを探索することによって設計を行うことが可能である．
制御系が含む調整可能な設計パラメータからなるベクトルを xとする．パラメータ x に対 して前節と同様な手順でモンテカルロ解析をすることによって要求を満たさない確率 P(x) を求めることができる．この P(x)を x について最小化することにより要求を満たす確率の 高い制御系を設計する事ができる．
実際の制御系設計においては，例えば安定性と応答性など複数の設計要求の間でのトレ ードオフが必要になる場合が多い．このような場合，それぞれの設計要求を満足しない確 率を求め，それらを組合せた評価関数を最適化することで設計ができる．
4.1.3確率推定手法を用いた最適化
従来の方法では最適化の過程で評価点ごとにモンテカルロ評価を実施して評価関数を計 算することが行われるが，探索点×各点でのモンテカルロ評価回数分のシミュレーション 計算が必要になり非常に計算負荷が高くなるのが難点である．近年計算機能力が向上して いるとはいえ， 対象によっては飛行時間の長いシミュレーションを繰り返す必要がある場 合もあり，なるべく少ない評価回数で評価/最適化を行えるようにしたい．
一つのアイディアは各点でパラメータを固定してモンテカルロ評価を行う代わりに，誤 差と同時に設計パラメータを変化させて，評価と最適化を同時並行的に行うことである．
図4.1.3-にそのイメージを示す．近年，統計的機械学習やパターン認識の分野では多数のデ
ータから，出力の確率を推定する技術が盛んに研究されているためそれらの技術を利用す ることができる．本章では，飛行制御設計における新しい試みとして，確率推定手法を統 計的最適化に適用し，その有効性を評価する．
図4.1.3-1 推定確率を用いた最適化のイメージ
シミュレーション実施 シミュレーション結果から パラメタに対する
成功や失敗の分布を推定
成功率が高いと推定され る領域に制御パラメタを (ランダムに)発生
パラメタを更新しながらMCシミュレーション
k p
k p
69 4.2 確率推定手法
統計的な設計においては，種々の設計要求を満足する確率が高くなるように制御ゲイン 等の設計パラメータをチューニングするわけであるが，これは設計パラメータ空間内の各 点で要求を満足する条件付き確率を最大化する問題と考えることができ，前節で触れたよ うに，この条件付確率の分布を推定することで設計を効率的に行うことができると期待さ れる．多数の観測データからパラメータ空間内での条件付確率を求める問題は統計的機械 学習の分野における確率的分類問題とみなすことができ，種々の計算手法が研究されてい る．推定した確率の高い領域を集中的に探索することによって効率的に設計が行える．
本章では実用的な手法として関連ベクトルマシンの統計的設計への適用を試みる．また，
最近提案されている確率密度比の直接推定に基づく手法の適用についても検討する．
関連ベクトルマシン(Relevance Vector Machine, RVM)
回帰，分類問題を解く手法として成功したものの一つに関連ベクトルマシンがある．こ れはロジスティック回帰にベイズ的手法を適用したものであり，Tipping[30]らによって提案 された．データ空間 X 上での条件付き確率 P(T|X)を基底関数(カーネル)の線形結合で表し 重みパラメータを推定する．Tipping らはラプラス近似および変分ベイズ法による識別関数 の推定を提案した．さらに，高速化のために逐次的にカーネルを追加する手法についても 提案しており，これが標準的な手法となっている[31]．
RVMには，その後いろいろなバリエーション，応用が検討されている．カーネルをどの ように選択するかについてBen-Shimonらは数種類のカーネルの型について実験的に比較検 討し，どの場合にも有効なカーネルを決めるのは難しいが，有限の台をもつカーネルでは 性能がよくないことを述べている．Ben-Shimon らはまた，カーネルの集合を分割して関連 度自動決定(後述)を適用することによって計算速度を向上する方法を提案している[32]．
Tzikasは個々のカーネルのパラメータ，具体的にはガウスカーネルの幅を適応的に更新する
ことにより推定精度を上げるとともに，局所的な特徴抽出に用いている[33]．RVM の欠点 として，データ点の少ない領域での予測分散(すなわち誤差幅)が小さくなってしまい，妥当 な誤差幅が推定できないこと，ときとしてシビアな過適合が発生する場合があることなど が報告されている．前者については，RasmussenとQuinonero-Candela (2005) [34][35]による 改良方法の提案3があるが，データに付随したカーネルを用いる限り根本的な改善は困難で あり，彼らはガウス過程(Gaussian Process, GP)モデルの使用を推奨している[36]． ただし，
この問題は，予測確率の平均のみを用いる応用では致命的にはならない．一方，後者につ いては各点での超々パラメータの事前分布に相関を持たせることで，なめらかな解を得る
3 Quinonero-Candela[34][35]らはテスト点 x*でのパラメータ w*の事前分布を先験的に(例 えばデータ点全体の分散をもつガウス分布として)与え，RVMモデルでの予測と組み合わせ てベイズ的にx*での分布を推定するRVM*という手法を提案している．
70 方向での研究がなされている．
ガウス過程モデル(Gaussian Process, GP)
回帰，分類問題への別のアプローチとしてガウス過程モデルがある[36][37]．GPモデルは RVMと比較して推定結果の誤差を正確に求めることができる点で優れており，また，回帰 問題の場合には解析的な取り扱いができるといった長所があるが，予測時に全てのデータ を保持して計算に用いる必要があり，計算量が多くなる．このため，予測モデルで用いる データ点数を制限する近似的な手法も検討されている[38][39]．RVMをGPモデルを用いる 近似的な手法の一種とみなす見方もある[36]．
確率密度比推定
また，比較的最近のアプローチとして，杉山らのグループにより確率密度比推定に基づ く方法も提案されている[40]．あるパラメータが設計要求を満足する条件付き確率は，条件 を満たすパラメータの集合の確率密度分布をパラメータ全体の確率密度分布で割った比に 比例する．杉山らは二つのサンプル集合からその確率密度比を直接推定するいくつかの手 法を提案しており，これらのアプローチでは，分母分子の確率分布をそれぞれ推定してそ の比をとる方法に比較して，密度比を精度よく推定することができると主張している．確 率密度比は規格化されていないため，条件付き確率そのものではないが，条件付確率と同 様にパラメータの善し悪しの評価に用いることができる．
4.2.1 確率的分類問題とロジスティック回帰
本項では確率的分類問題および，それを取扱う基本的な手法としてロジスティック回帰 モデルについて記述する．
連続値の入力xに対し，2値の離散出力t∊{0,1}が得られる状況を考える．N回の試行を行 った場合の入力の集合X={ }xn nN=1に対し出力T={ }tn nN=1が観測されるとき，xに対するtの条 件付事後確率P t x( | , , )X T を求める問題を考える．条件付確率が分かれば，各点が 2 値のう ちどちらに属する確率が高いかで 2 つのクラスの境界を求めることができるので，このよ うな問題は確率的分類問題とよばれる．分類問題を扱う標準的な手法の一つとしてロジス ティック回帰があり，条件付き確率をパラメータwを用いた次のモデルで表す．
( ) ( ( ) )
1( | , ) ( , ) 1t ( , ) t
P t x w =s y x w −s y x w − (4.2.1-1)
ここに，
( ) 1
1 exp( )
y y
s =
+ − ,
0
( , ) M m m( ) T ( )
m
y w φ x
=
=
∑
=x w w φ x (4.2.1-2)
である．{ ( )}(φm x m=1,2,M)は非線形な基底関数の組であり，重みパラメータwを用いた