第 4 章 信頼感の醸成方法の高度化と効率化
4.6 加減アルゴリズムの評価実験
本節では加減アルゴリズムを評価する．実験では正規分布から作成した予測確信度と 予測結果のデータセットに対してしきい値を調整する．最終的なしきい値をデータセッ トから求める正答率と見逃し率に適する真のしきい値と比較する．比較対象は過去の予 測から計算的にしきい値を求める統計計算アルゴリズムとした．
51
評価実験は，理想条件と実環境条件に分けて行った．理想条件とは，予測した家電操 作が正しいかどうかがすべて推定可の条件である．実環境条件とは，予測した家電操作 が正しいかどうか推定不可を含む条件である．
4.6.1 統計計算アルゴリズム
本実験でのしきい値の計算方法を図4.5に示す．予測確信度の分布を正規分布に仮定 する．過去の予測N個を対象に信頼区間95%での正答率の下限を式(4.8)，信頼区間95%
での見逃し率の上限を式(4.9)で求める．
まず，ユーザの指示する正答率を満たすしきい値の範囲を計算する．しきい値を1.00 から順に減らし，式(4.8)により正答率の下限（しきい値より予測確信度の高い家電操作 の正答率の下限）がユーザの指示する正答率に最も近く，かつ，ユーザの指示する正答 率よりも大きくなるしきい値を求める．このしきい値を正答率を満たす最小のしきい値 と呼ぶ．
次に，ユーザの指示する見逃し率を満たすしきい値の範囲を計算する．しきい値を 0.00 から順に増やし，式(4.9)より見逃し率の上限（家電操作が正しい数としきい値よ り予測確信度の低い家電操作が正しい数から見逃し率の上限）がユーザの指示する見逃 し率に最も近く，かつ，ユーザの指示する見逃し率よりも大きくなるしきい値を求める．
このしきい値を見逃し率を満たす最大のしきい値と呼ぶ．
最終的なしきい値は正答率を満たす最小のしきい値と見逃し率を満たす最大のしき い値の中間値とした．ただし，正答率を満たす最小のしきい値が見逃し率を満たす最大 のしきい値より大きい場合，正答率と見逃し率を満たすしきい値が存在しない．正答率 を満たす最小のしきい値と見逃し率を満たす最大のしきい値の中間値がユーザの指示 した予測能力に適するしきい値とした．
図4.5 統計計算アルゴリズム Nデータ 現在
thmin
正答率を満たす最小 しきい値 見逃し率を満たす最大しきい値 thmax
1
0
○
×
○
×
○
×
○
×
×
×
○
○
× ○
○
○ ○
× ×
× ×
×
×
×
×
×
○
○
○
○
×
○ ○
○
○
データ数 予測確信度
th
52
信頼区間95%での正答率の下限＝Phit(a)− k√Phit(a)(1−Phit(a))
Nact ・・・式(4.8) (ただし，Nact=Nhit(a)+Nfalse(a)
Nact≦30のとき，k=t(0.025, n-1) Nact>30のとき，k=1.96）
信頼区間95%での見逃し率の上限＝Pmiss(a)+ k√Pmiss(a)(1−Pmiss(a))
Ncorrect ・・・式(4.9)
(ただし，Ncorrect=∑nb=1Nhit(b)+Nmiss，
Ncorrect≦30のとき，k=t(0.025, n-1) Ncorrect>30のとき，k=1.96）
実験では，しきい値の計算に用いる過去のデータは2000データとし，しきい値は0.01 間隔で計算した．ホームエージェントでは，学習アルゴリズムやユーザの行動環境によ って家電操作回数が異なる．たとえば，MavHomeの実験[80]では一日での照明操作回 数が18回であった．この場合，2000データはおよそ100日分と推測できる．
4.6.2 実験に用いる予測行動のデータセット
予測確信度の分布は，図4.6に示すように正しい場合と誤りである場合で別の正規分 布として決めることにした．正規分布の平均と分散によって予測能力を調整できる．デ ータセットの各データは，まず確率的に予測した家電操作が正しいかどうかを決め，次 に予測確信度を正規分布から確率的に決める．以降において，データセットの予測した 家電操作を1データと呼ぶ．
図4.6 データセットの生成イメージ
実験に用いる3つのデータセットの生成条件を表4.3に示す．データセット2は，デ ータセット1より正しい予測の予測確信度の平均を小さく，誤った予測の予測確信度の 平均を大きく，予測を間違う比率を大きくした．データセット2は正しい予測の予測確 信度分布と間違った予測の予測確信度分布が重なる部分が多くした．データセット2は ユーザの示す正答率と見逃し率を同時に満たすしきい値が存在しにくい条件である．デ
1
0
○
×
○
×
○
×
×○
×
×
○
○
× ○
○
○ ○
× ××
×× ×
×
×
○ ×
○
○
○
×
○ ○
○
○
時間 正答（○）の
予測確信度分布
誤答（×）の
予測確信度分布 確信度
53
ータセット3はデータセット2と同様の生成条件だが，データ数が20000である．
理想条件での評価実験ではデータセット1と2を用いた．実環境条件での評価実験で はデータセット 3 を用いた．実環境条件での評価実験では，さらに，データセット 3
の 90%のデータを予測した家電操作が正しいかどうかが推定不可データとした．ただ
し，予測確信度がしきい値よりも大きい場合，エージェントが代行や説明をすることで データセット3の予測した家電操作の予測結果が判明するとした．
4.6.3 実験に用いる予測能力と加減アルゴリズムの加減値
実験に用いるユーザの示す予測能力と真のしきい値，加減アルゴリズムの加減値を表 4.4に示す．本実験では，エージェントの行動を2つとし，しきい値はしきい値1とし きい値2とした．
まず，ユーザの示す予測能力は能力AからEの正答率を等しくし，見逃し率を変え た．見逃し率が低いほど，正答率と見逃し率を同時に満たすしきい値が存在しにくい．
また，能力Fは能力Eと見逃し率が等しいが，しきい値2の正答率を高くした．能力 Fが最も正答率と見逃し率を満たすしきい値が存在しにくい．
次に，各予測能力での真のしきい値はデータセットのすべて5000データを用いて統 計計算アルゴリズムによって求めた．データセット1よりもデータセット2のほうが正 答率と見逃し率を満たすしきい値がない場合が多くなった．データセット3の真のしき い値はデータセット2と同じ生成条件であるため，真のしきい値も同じとする．
また，加減アルゴリズムの加減値は式(4.7)より求めた．予測確信度に対する加減値の 最大変化が1%となるように，しきい値1の増加値を0.01とした．
表4.3 データセットの生成条件
データ セット
予測した 家電操作 の正誤率 正：誤
予測確信度の分布 正しい 誤り データ数
平均 偏差 平均 偏差
1 1：1 0.8 0.2 0.3 0.2 5000
2 3：7 0.7 0.2 0.4 0.2 5000
3 3：7 0.7 0.2 0.4 0.2 20000
54
表4.4 予測能力と加減アルゴリズムの加減値
※ 真のしきい値において，( )付きの数値は予測能力を満たさない
4.6.4 実験 1：理想条件での評価
データセット1と2を用い，加減アルゴリズムと統計計算アルゴリズムのそれぞれで 調整したしきい値を比較する．
データセット 1における能力 Eの条件でのしきい値の変遷を図 4.7に示す．加減ア ルゴリズムでも統計計算アルゴリズムでも少ないデータ数からしきい値が下がった．
2000 データ以降で加減アルゴリズムと統計計算アルゴリズムの両方でしきい値が定常 状態となった．統計計算アルゴリズムは，しきい値1と2の両方がデータ数15の時点
で0.725まで下がり，そこから徐々に下がっていき，データ数3000で真のしきい値ま
で下がった．実験をはじめてから早い時点でホームエージェントが操作代行をするよう になった．これに対し，加減アルゴリズムでは，しきい値 2 がデータ数240 で 0.665 まで下がり，その後，しきい値1がデータ数726で0.73まで下がり，その後，それぞ れが徐々に下がり，しきい値2はデータ数557で真のしきい値まで下がり，しきい値1 はデータ数1930で真のしきい値まで下がった．実験を始めてから，まず，ホームエー ジェントは提示をするようになり，その後，提示していた操作の操作代行をするように なった．ホームエージェントからのユーザへの対話が変化することで，ユーザはホーム エージェントの操作代行に対する自信の変化を理解することにつながる．
すべての予測能力における3000-5000データ間での平均のしきい値を表4.5に示す．
加減アルゴリズムでのしきい値と真のしきい値との差は最大 0.04，統計計算アルゴリ ズムのしきい値と真のしきい値との差は最大0.10であった．
加減アルゴリズムにおいてしきい値が定常状態となることが確認でき，加減アルゴリ ズムにおいて統計計算アルゴリズムと同等のしきい値が求められた．これによって，ユ ーザは，その時点でホームエージェントに任せられる信頼性を正答率と見逃し率でホー ムエージェントに示すことができる．これまでのユーザがしきい値を調整する方法では，
その時点でのホームエージェントに適するようにユーザがしきい値を調整しなければ ならなかった．しきい値を調整することでホームエージェントの提示や操作代行がどの
予測 能力
しきい値1 しきい値2 データセット1 データセット2 加減アルゴリズムでの加減値
正答率 見逃し率 正答率 見逃し率 真の
しきい値1 真の
しきい値2 真の
しきい値1 真の
しきい値2 Δth1up Δth1down Δth2up Δth2down
A 90 95 70 90 0.77 0.71 0.94 0.79 0.01 0.0011 0.18 0.00429
B 90 90 70 70 0.76 0.67 (0.91) 0.73 0.01 0.00056 0.035 0.00429
C 90 90 70 50 0.76 0.62 (0.91) 0.69 0.01 0.00028 0.0125 0.00429
D 90 70 70 50 0.72 0.64 (0.85) (0.70) 0.01 0.00167 0.025 0.00429
E 90 50 70 30 0.67 0.62 (0.81) (0.67) 0.01 0.00278 0.015 0.00429
F 90 50 90 30 0.67 0.67 (0.81) (0.80) 0.01 0.00278 0.015 0.00111
55
ように変わるか分からないため，手探りで何度も調整しなければならなかった．ユーザ が正答率と見逃し率でホームエージェントに指示できることで，調整後のホームエージ ェントの変化を想像して調整ができるため，以前より効率的である．
図4.7 データセット1における予測能力Eでのしきい値変遷 0.4
0.6 0.8 1
0 1000 2000 3000 4000 5000
予 測 確 信 度
データ数
加減(しきい値1） 加減(しきい値2） 統計(しきい値1） 統計(しきい値2）