第 6 章 ACAS の評価
6.1 定量的評価
定量的評価を取るにあたって、サンプルとなるコンテキストアウェアシステムを構 築した。アルゴリズムの部分でACASとルールベースと切り替えることで、それぞれ の性能を比較する。そして、いくつかの指標を用いてどちらの手法がどのような点で 優れているのかを明確にする。本節では、定量的な評価を行う上での評価環境や評価 軸について述べた後、実際の評価結果についてまとめる。
6.1.1 評価環境
ACASの評価に使用したPCは、第5章の表5.5で述べたものと同等の機器である。
評価のためのセンサデータとして、第2章で詳解したSmart Space Laboratoryの実 データを入力値として利用した。設置されているセンサノードは uPartである。環境 が動的に変化する状況を SSLab で測定された実データを変化させることで再現する。
利用するデータは、夏のミーティング中に測定したセンサデータと、冬の同条件下に おけるセンサデータである。コンテキスト解析アルゴリズム側では、受け取る光セン サの値と温度センサの値が急激に変化することになる。評価に利用したセンサの設置 場所とその個数は以下のとおりである。
プロジェクタ：1個 イス：4個 机：3個 壁面：1個
図 6.1にSSLabにおけるセンサの設置場所を示した。これらのセンサ配置は、ミーティ
ングのコンテキストと特に関係があると考えられる場所やオブジェクトから選定した。
図 6.1: SSLabのセンサ設置状況
6.1.2 評価シナリオ
次に評価を行うためのシナリオについて述べる。
限られた機能しか持たないセンサが設置された環境において、その部屋の空間のコン テキストを取得したい。取得するコンテキストとしては、その部屋でミーティングを 行っているのかどうかである。しかしそんな時、天気が晴れからどんよりとした曇り へと短時間の間に急激に変化した。
このシナリオの要点は短時間で環境が急激に変化することであり、それまで正しくコ ンテキスト解析できていた状態のものが、状態変化後も正しく動作可能であるのかが 計測の基準となる。
6.1.3 評価軸
動的な環境変化への対応
正解となるコンテキストを明示した上で、環境の動的な変化にどれだけ追従できる かを調べる。動的な変化というのは、センサデータを擬似的に変化させることで発生 させる。どのくらいの割合で正確にコンテキストを認識できるか、またはほとんど閾 値から外れてしまうのかなどを確認する。
6.1.4 解析手法
次に、評価シナリオにおける各コンテキスト解析アルゴリズムの構築方法を述べる。
ルールベースでは記述のためのルールを列挙し、ACASではコンテキストを表現する プロダクションルールについてまとめる。
ルールベース手法
ルールベース手法において、室内のコンテキストとしてミーティング中であるかとい う状態を定義するために、次のようなルールを与えた。これらのルールについてIf-Then 文を用いてセンサデータの閾値を決めて解析を行った。
・プロジェクタが ONの状態である
・室内のいくつかのオブジェクトが動作状態にある
・室内の照明器具が点灯している
ACAS
ACAS におけるミーティングのプロダクションルールは、第5章の表 5.7と表 5.8 にて定義している。そのためここではプロダクションルールの要点だけを書き出す。
・プロジェクタが ONであれば、ミーティング中である ・プロジェクタが OFFであれば、ミーティング中ではない ・机 / イス が振動していれば、ミーティング中である
・机 / イス が振動していなければ、ミーティング中ではない ・照明が点灯していれば、ミーティング中である
・照明が点灯していなければ、ミーティング中ではない
6.1.5 評価結果
定量的評価を行った結果について述べる。比較にあたり、夏のセンサデータに対し てミーティングのコンテキストが判別できるようにルールベースと ACAS を初期設 定した。その上で夏のセンサデータと冬のセンサデータを解析したときに、コンテキ ストの正答率がそれぞれどの程度になるのかを測定した。その結果を図 6.2に載せる。
試行回数は10回で、縦軸はミーティングのコンテキストを正しく判別できた回数を示 す。各指標とも左側の棒軸が夏のセンサデータを与えたときの値で、右側の棒軸は冬 のセンサデータを与えたときの値である。この図からルールベース手法も ACAS も夏 のセンサデータに対しては9割の正答率であるため、非常に高確率で解析できている。
一方、冬のセンサデータに対してはルールベース手法では2割、ACAS では6割とい う正答率であった。この結果から、環境が大きく変化したときにルールベース手法で はコンテキスト解析の正答率がそれまでの約23％まで低下して十分な解析結果とは言 えないのに対して、ACAS では正答率はそれまでの約65％となっているため、環境の 急激な変化により対応できていると言える。
0 1 2 3 4 5 6 7 8 9 10
ルールベース ACAS
夏のセンサデータ 冬のセンサデータ
図 6.2: ミーティングのコンテキストの正答回数