客観的な指標を取り入れた信頼感の醸成

本節では，ホームエージェントによる予測能力を定義する客観的な指標を示し，人間 をまねた対話方法への適用と客観的な指標による信頼感の醸成事例を示す．

図4.3 エージェントの説明と代行の多段化 0 なにもしない

代行

説明

詳細

簡略 報告しない

詳細 簡略 予測確信度

1 ^act1

act2

act a act a+1

act n th 1

th 2

th a th a+1

th n

46

4.4.1 予測能力の定義

ホームエージェントのように先を予測するシステムに地震予知や危険警報などがあ る．そのようなシステムでは，予測結果を表 4.1 に示す hit-miss-false alarm-correct

rejectionの4つに分類し，正答率と見逃し率で予測能力を評価している．まず，hitは

知らせた予測内容が正しい予測内容だった場合，miss は知らせなかった予測内容が正 しい予測内容だった場合，false alarmは知らせた予測内容が間違った予測内容だった 場合，correct rejectionは知らせなかった予測内容が間違った予測内容だった場合であ る．

正答率は知らせた(hit+false alarm)中で予測内容が正しい(hit)割合である．目標とす る正答率よりもシステムの正答率が高い場合，より正しく予測ができ，性能がよいと判 断される．また，見逃し率は予測内容が正しい(hit+miss)中で予測内容を知らせない (miss)割合である．目標とする見逃し率よりもシステムの見逃し率が低い場合，より見 逃さずに予測ができる性能，つまり，よい性能と判断される．

ホームエージェントでも，操作代行の結果を同様に分類できる．正答率は，正しく操 作代行ができることを表し，見逃し率はユーザの操作を操作代行せずに見逃してしまう ことを表す．ホームエージェントの予測能力を客観的に示すには，正答率と見逃し率を 用いる必要がある．

表4.1 信号検出での分類表

4.4.2 信頼感の醸成事例

客観的な指標を用いることでユーザはホームエージェントに任せられる操作代行の 信頼性を明確に伝えることができる．これまでのようなしきい値を直接調整する方法で は，その時点でユーザが任せられる操作代行の信頼性になるまで何度もしきい値を調整 しなければならなかった．これは，ホームエージェントが操作を予測する際の計算値で ある予測確信度に対してしきい値を直接調整していたためである．しきい値を変えたこ とによってホームエージェントの予測能力がどのように変わるかをユーザが完全に把 握することは難しく，しきい値の微調整を何度も繰り返さなければならなかった．客観 的な指標で調整する方法では，ホームエージェントはその客観的な指標を目標値として しきい値を調整するため，ユーザはしきい値を微調整しなくてもよい．そのため，ユー

予測を知らせる 予測を知らせない 予測が正しい hit miss

予測が間違い false alarm correct rejection

47

ザが操作代行を任せられるホームエージェントの信頼性が変わったときに再設定する ため，調整回数が減る．

ただし，必ずしも客観的な指標通りの信頼性でホームエージェントが操作代行を行え るわけではない．たとえば，ホームエージェントの操作代行において正答率100%かつ う見逃し率0%という究極の目標を客観的な指標として設定したとする．しかしながら，

ホームエージェントは完ぺきに正しく予測できないことが前提であるため，この客観的 な指標を達成することができない．これは，しきい値を直接調整する方法において，し きい値を1と設定しても，予測確信度が1として家電操作を予測できることは少なく，

ほぼ操作代行されないことと同じである．そのため，しきい値を直接調整する方法では，

ホームエージェントの信頼性をユーザが確認しながら，しきい値を調整し，信頼感を醸 成してきた．同様に客観的な指標で調整する方法においても，ユーザが究極の目標を設 定してもホームエージェントは究極の目標を達成することができない．しきい値の調整 と同じようにホームエージェントの予測能力を見極めながら，客観的な指標を調整する 必要がある．この調整過程で信頼感を醸成していく．客観的な指標でホームエージェン トに指示することで，正答率を変えることにより操作代行の間違いがどれだけ変わるか，

また，見逃し率を変えることにより操作代行がどれだけ変わるか，が分かる．しきい値 を直接調整する場合のように微調整するよりも調整回数が減り，信頼感の醸成を効率的 に行える．

4.4.3 人間をまねた対話方法への適用

図4.3で示したエージェントの説明と操作代行の多段化における分類を表4.2に表す．

エージェントの行動はact 1からn，行動なしである．act aでの正しい回数をNhit(a)， act aでの間違い回数をNfalse(a)と表し，行動なしだが予測が正しい回数をNmissと表す．

act aの正答率Phit(a)を式(4.1)に示す．act aの予測が正しい割合である．act aの見逃

し率Pmiss(a)は式(4.2)に示す．正しい予測の内でth a+1より予測確信度が小さい予測の

割合である．ただし，act aの正答率はact a+1以上，かつ，act aの見逃し率はact a+1 より大きい必要がある．また，ユーザの示す正答率よりも実際のact aの正答率が高い ときにユーザの指示を満たす．ユーザの示す見逃し率よりも実際のact aの見逃し率が 低いときにユーザの指示を満たす．なお，ユーザが示した正答率と見逃し率に適するし きい値の調整は次節で述べる．

正答率：P_hit(a)= N_hit(a)

N_hit(a)+ N_false(a)・・・式(4.1)

（ただし，Phit(a)≧Phit(a+1)）

48

見逃し率：P_miss(a)=∑ⁿ_b=a+1N_hit(b)+N_miss

∑ⁿ_b=1N_hit(b)+N_miss ・・・式(4.2)

（ただし，Pmiss(a)< Pmiss(a+1)）

表4.2 多段階の方法での説明と代行の分類表