メカニズムの特徴

第4. EXEMPLAR-BASED LCS 4.7. メカニズムの特徴

定し，次に，問題の変数空間上で最もユークリッド距離の近いexemplarの行 動を新たに生成するexemplar の行動(then)部として設定する．さらに，新 たに生成されたexemplarの行動とは違う行動をもつ最も近いexemplarとの 距離の半分を初期の照合範囲として設定する．

図4.19 マルチステップ問題におけるexemplar生成の概要

マルチステップ問題における削除方法  

 マルチステップ問題における削除はシングルステップ問題における削除と同 様に実行される．

4.7. メカニズムの特徴 第4. EXEMPLAR-BASED LCS

表4.1 XCS(LCS)とECSの比較

XCS ECS

パラメータ更新 行動集合で更新 照合集合で更新 削除 母集団全体から重複のある分類

子を削除

exemplar は削除されず，包摂

のみでexemplarを削減

生成したexemplarに関しては 評価値が低く範囲の小さいもの が削除

分類子の属性の一般性 を比較

条件部の各要素の一般性を比較 exemplar の評価値と被覆領域 の大きさで比較

テップ問題では，それぞれ解性能の評価として，以下の様に評価することが多い．

シングルステップ問題  入力に対する解答(出力)の正答率を評価する．

マルチステップ問題  環境との入出力の繰り返しから最終的な獲得報酬やステップ数(入 出力の回数)を評価する．

第 5. 実数値問題 43

第 5 ^章

実数値問題

機械学習分野において強化学習などの状態価値関数を近似する手法では，一般的に離散 値問題を対象とすることが多いが，現実の問題には実数値または連続値を取り扱う必要が ある場合が少なくない．例えば，ロボット制御などのタスクでは，多くの場合状態及び行 動空間は多次元で連続となる．実数値問題を離散値問題に置き換えるとなると，状態空 間S をグリッド状などに離散化する必要があるが，グリッドを粗くした場合，実際には 異なる複数の状況を一つの状態として扱ってしまうことがある．これにより，エージェン トの知覚できない不確定な部分を含む部分観測マルコフ決定過程や隠れマルコフ過程と呼 ばれるモデルでモデル化する必要があり，問題の性質が大きく変わってしまう．また逆 に，グリッドを細かくした場合，状態の数が多くなり，問題の規模が必要以上に大きく なってしまう可能性がある．更に，状態空間の次元が高くなるにつれて状態数は指数関 数的に増大し，その結果として必要となる計算量も指数関数的に増大し，次元の呪いや 状態爆発と呼ばれる問題を引き起こしてしまう．状態爆発問題を解決する試みとしては，

全体ではなく，必要な部分のみを細かく分割する状態空間の階層的分節化手法などがあ る[Kamio 2004, Murao 1997]．しかしながら，状態空間の分割によって価値関数近似に 大きな誤差を生じたり，余分な計算コストがかかることを考慮すると，連続な状態空間を そのまま扱い，連続な価値関数を近似するのが理想的である[八谷，杉山2008]．さらに，

医療における生体データや金融における株価のデータなど連続的に値が変化するデータな どは離散値では簡単に表すことが困難なデータも数多く存在し，加えて，問題によって は，離散値と実数値の混合したデータや雑音(ノイズ)のある問題，データに偏りのある 問題など様々な問題クラスが多数存在している．そこで本論文では，実数値を直接扱う問 題を通してシミュレーション実験を実施し，提案システムの有効性を検証していく．本章 では，その実数値を扱う問題でシングルステップ問題とマルチステップ問題の2つに大き く分けて説明する．シングルステップ問題はある入力に対する出力が決定すればそこで問 題が終了となる．一方，マルチステップ問題は入力に対する出力を実行すると，次の状態