5.5.1 シミュレーション対話実験
システムと模擬ユーザとの間のシミュレーション対話実験によって，デュアル コスト法，試行型デュアルコスト法の評価を行った．模擬ユーザとは，実ユーザ の振舞いをシミュレートしながらシステムと対話するエージェントである．各対 話の初期時点において，模擬ユーザはシステムに対する問い合わせ内容を保持し ている．ユーザはシステムに問い合わせ内容を伝え，システムは確認対話を通し て問い合わせ内容を把握していく．問い合わせ内容の把握が完了すると，システ ムはユーザ問い合わせ内容に応じてユーザが必要とする情報を伝達するためにシ ステム応答を生成する．システム応答が模擬ユーザが必要とする情報を伝えてい ないなら，模擬ユーザは再度同じ問い合わせ内容で対話を繰り返す．対話は模擬 ユーザが必要とする情報が伝達されるまで継続する．
システムと模擬ユーザは，音声で会話するのではなく，発話内容を表現した属 性と値の対のリストをやり取りすることによって会話する．ユーザの発話内容を システムに送るときには，属性認識精度に応じて属性値に誤りが含まれるように，
システムの音声認識誤りをシミュレートした．
実験で用いたタスクは，5.2節で述べた天気情報案内タスクである．場所は約700 の都市，日は今日か明日の2通りである．警報種別としては，洪水，大雨など10 個の種別がある．システムは，データベースの中に，各都市の今日，明日の天気，
(C-1) システム理解状態から可能なユーザ問い合わせタイプを導き出す．(C-2) に移行する
(C-2) ユーザ問い合わせタイプが一意に決まっており，その問い合わせタイプの
属性値がすべて承認済みなら，システム情報伝達フェーズに移行する．さも なければ，(C-3)に移行する．
(C-3) 一括確認か個別確認かに応じて，次のいずれかを実行する．
一括確認の場合: システム理解状態において，既に値が与えられている属性 があるなら，そういった属性の値をできるだけ多く一度に確認するための確 認行為を選択し，(C-5)へ移行する．さもなければ，(C-4)へ移行する．
個別確認の場合: システム理解状態において，既に値が与えられている属性 があるなら，それらの属性の一つを確認するための確認行為を選択し，(C-5) へ移行する．さもなければ，(C-4)へ移行する．
(C-4) できだけ多くのユーザ問い合わせタイプで有効となる属性を優先するよう
に，値が与えられていない属性を一つ選択し，その属性のための情報要求行 為を選択する．(C-5)に移行する．
(C-5) 選択されたシステムの対話行為を実行し，ユーザからの応答を待って，シ
ステム理解状態を更新する．(C-1)へ戻る．
図5.6: 一括確認法と個別確認法の動作手順
最高気温と最低気温，6時間ごとの降水確率のデータを保持している．また，警報 については，現在どこにも警報は発表されていないということをデータとして保 持している．このデータベースの内容の場合，警報の問い合わせに関しては，情 報種別だけを確認することが，最適な対話プランとなる．天気，気温，降水確率 の問い合わせに関しては，たいていの場合，場所，日，情報種別の属性をすべて を確認することが最適な対話プランとなる．ただし，天気問い合わせに関しては，
日属性の確認を行わずに，今日と明日の両日の気象情報を伝達することが，最適 なプランとなる場合もある．これは，属性認識精度によっては，日属性の確認を 確認を行うよりも，確認を省いて両日の天気を伝達した方が，対話コストが小さ
(N-1) システム理解状態から可能なユーザ問い合わせタイプを導き出す．(N-2) に移行する．
(N-2) システム理解状態における属性値がすべて承認されているものと仮定した
ときに，ユーザ問い合わせタイプが一意に決まるなら，システム情報伝達 フェーズに移行する．さもなければ，(N-3)に移行する．
(N-3) できだけ多くのユーザ問い合わせタイプで有効となる属性を優先するよう
に，値が与えられていない属性を一つ選択し，その属性のための情報要求行 為を選択する．(N-4)に移行する．
(N-4) 選択されたシステムの対話行為を実行し，ユーザからの応答を待って，シ
ステム理解状態を更新する．(N-1)へ戻る．
図5.7: 無確認法の動作手順 くなる場合があるからである．
デュアルコスト法，試行型デュアルコスト法と比較するために，音声認識精度と データベース内容に依存しない対話制御法として，一括確認法，個別確認法，無 確認法と呼ぶ対話制御方法を用いた．一括確認法と個別確認法は確定型の対話戦 略をとる．一括確認法は，できるだけ多くの属性を一度に確認しようとする方法 であり，個別確認法は，属性を一つずつ確認する方法である．無確認法は確認を 行わない方法であり，試行型の対話戦略をとる．一括確認法と個別確認法の動作 手順を図 5.6に示し，無確認法の動作手順を図5.7に示す．
模擬ユーザの振る舞いは図 5.8に示すルールにしたがって決定される．(U-4) は，ユーザ問い合わせタイプが天気の問い合わせであるにもかかわらず，システ ムが警報種別属性の値について，確認発話や情報要求発話を行ってくるような場 合に相当する．そういった場合，模擬ユーザはシステムの確認発話あるいは情報 要求発話に応えることができないことを伝えるための発話(拒否発話)を行う．シ ステムは，模擬ユーザの拒否発話を受け取ると，現在の行為をあきらめ，別のシ ステム発話を選択し実行する．
デュアルコスト法，試行型デュアルコスト法，一括確認法，個別確認法，無確
(U-1) 対話の開始時点では，問い合わせ内容の一部をシステムに伝える．
(U-2) システムの確認発話に対して，訂正発話か承認発話を行う．訂正発話は，シ
ステムの確認発話に含まれるすべての属性の値を伝達することによって行う．
(U-3) システムの情報要求発話に対して，属性の値を伝達するための発話を行う．
(U-4) システムがユーザ問い合わせタイプにとって無効な属性の値について，確
認発話あるいは情報要求発話を行ってきたならば，システム発話を拒否する．
図 5.8: 模擬ユーザの振る舞いを決定するルール
認法のそれぞれにおいて，システムの確認発話や情報要求発話が模擬ユーザから 拒否された場合に，別のシステム発話を選択する際の基準を説明する．デュアル コスト法，試行型デュアルコスト法では，次にコストが小さい行為を優先して選 択する．一括確認法では，図5.6において，(C-3)で選んだ確認行為が拒否された なら，まだ確認を試みていない属性の組合せのうち，できるだけ多くの属性の値 を一度に確認する確認行為を優先して選択する．(C-4) で選んだ情報要求行為が 拒否されたなら，まだ情報要求を試みていない属性のうち，できだけ多くのユー ザ問い合わせタイプで有効となる属性を優先して選び，その属性のための情報要 求行為を選択する．個別確認法では，図5.6において，(C-3)で選んだ確認行為が 拒否されたなら，値が与えられている別の属性を任意に選び，その属性について の確認行為を選択する．(C-4)で選んだ情報要求行為が拒否された場合は，一括 確認法と同様の方法で別の情報要求行為を選択する．無確認法では，図 5.7にお
いて，(N-3)で選んだ情報要求行為が拒否されたなら，一括確認法，個別確認法
と同様の方法で別の情報要求行為を選択する．
シミュレーション対話実験では，4つのユーザ問い合わせタイプごとにユーザ問 い合わせ内容を無作為に生成した．各属性の属性認識精度を等しく0.75 から1.0 まで0.5刻みで変化させた．各属性認識精度において2000回のシミュレーション 対話が実施された．試行型デュアルコスト法を動作させるためには，式(5.11)に 示したように，失敗したシステム応答に後続する対話について，システム応答成 功確率の平均qτ,対話の長さの平均値，Cτ +Iτ の値が必要となる．これらの値と
ዻᕈ⼂♖ᐲ ኻ
ߩ㐳 ߐߩ ᐔဋ
⹜ⴕဳ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ
৻⏕ᴺ ⏕ᴺ ή⏕ᴺ
図5.9: 警報問い合わせの場合における属性認識精度に応じた対話の長さの平均 しては，試行型デュアルコスト法のシミュレーション対話実験を事前に何度か繰 り返し，収束した値を用いた．
各対話制御法の性能はユーザが必要とする情報が伝達されるまでの対話の長さ の平均によって評価した．対話の長さは，5.3.5節で述べた基準に加えて，模擬ユー ザの振舞(U-4) におけるユーザ拒否発話は簡潔な否定的表現(例：「いいえ」，「分 かりません」)として実現されると仮定した上で，拒否発話の長さは1であるとい う基準にしたがって計算した．
5.5.2 結果と考察
図5.9，図5.10，図5.11，図5.12，図5.13にシミュレーション対話実験の結果 を示す．それそれのグラフは，属性認識精度に応じた対話の長さの平均の推移を 示している．図 5.9は問い合わせタイプが警報問い合わせの場合，図 5.10は問い 合わせタイプが天気問い合わせの場合，図 5.11は問い合わせタイプが気温問い合 わせの場合，図5.12は問い合わせタイプが降水確率問い合わせの場合，図 5.13は 4つの問い合わせタイプを無作為に発生させた場合の結果である．
問い合わせタイプによってデータベース内容の状態が異なるので，デュアルコ スト法，試行型デュアルコスト法の効果も異なる．警報問い合わせの場合は，場
ዻᕈ⼂♖ᐲ ኻ
ߩ㐳 ߐߩ ᐔဋ
⹜ⴕဳ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ
৻⏕ᴺ ⏕ᴺ
ή⏕ᴺ
図 5.10: 天気問い合わせの場合における属性認識精度に応じた対話の長さの平均
ዻᕈ⼂♖ᐲ ኻ
ߩ㐳 ߐߩ ᐔဋ
⹜ⴕဳ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ
৻⏕ᴺ ⏕ᴺ ή⏕ᴺ
図 5.11: 気温問い合わせの場合における属性認識精度に応じた対話の長さの平均
ዻᕈ⼂♖ᐲ ኻ
ߩ㐳 ߐߩ ᐔဋ
⹜ⴕဳ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ
৻⏕ᴺ ⏕ᴺ ή⏕ᴺ
図 5.12: 降水確率問い合わせの場合における属性認識精度に応じた対話の長さの
平均
ዻᕈ⼂♖ᐲ ኻ
ߩ㐳 ߐߩ ᐔဋ
⹜ⴕဳ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ ࠺ࡘࠕ࡞ࠦࠬ࠻ᴺ
৻⏕ᴺ ⏕ᴺ
ή⏕ᴺ
図 5.13: 各問い合せタイプを無作為に発生させた場合における属性認識精度に応
じた対話の長さの平均
所属性の確認を回避できるという点で，(試行型)デュアルコスト法の効果が最も 発揮されやすい場合である．気温や降水確率の問い合わせの場合は，(試行型)デュ アルコスト法であっても，場所属性，日属性，情報種別属性のすべてを確認しな ければならない場合がほとんどであり，(試行型)デュアルコスト法の効果を発揮 することは困難である．天気問い合わせの場合は，(試行型)デュアルコスト法は，
日属性の値の確認を省いて，今日と明日の天気を伝達するということがありえる．
このように，様々なデータベースの場合を取り上げることにより，(試行型)デュア ルコスト法にとって有利な状況では，(試行型) デュアルコスト法が実際に効果を 上げることができ，そうでない状況であっても，従来法に比べて対話の効率を低 下させないことを実証することができる．
まず，確定型の対話戦略のみを考慮するデュアルコスト法，一括確認法，個別 確認法を比較する．図5.9から分かるように，警報問い合わせの場合，デュアルコ スト法は，一括確認法，個別確認法と比較して，より短い対話で情報を伝達でき た．警報問い合わせの場合には，警報がどこにも発表されていないというデータ ベースの内容であることを利用して，デュアルコスト法は，一括確認法，個別確 認法では避けることができない不必要な確認を回避することによって，効率的に 対話を実施できたことが分かる．この実験においては，システムは模擬ユーザ発 話を正しく認識できるとは限らず，模擬ユーザが警報の問い合わせを行ったとし ても，システムは天気，気温，降水確率の問い合わせであると誤認識する場合が ある．デュアルコスト法は，そういった誤認識が起きる場合であっても，対話全 体の効率性を向上させるように対話を制御できたことが分かる．
図5.10から分かるように，天気問い合わせの場合は，警報問い合わせの場合ほ どではないが，デュアルコスト法は，一括確認，個別確認法よりも短い対話で情 報を伝達できたことが分かる．これは，日属性の値を確認しないで，今日と明日 の両日の天気を伝達するという戦略が有効に働くためである．
図 5.11，図 5.12から分かるように，気温，降水確率の問い合わせの場合には，
デュアルコスト法による対話の長さは，一括確認法とほぼ同じである．これは，気 温問い合わせ，降水確率の場合には，デュアルコスト法であろうと，場所属性，日 属性，情報種別属性をすべて確認しなければならない場合がほとんどであるから である．しかし，データベースの内容によらず問い合わせ内容を逐一確認しなけ