ユーザフィードバックへの適応メカニズムを組み込んだモバイルデスクトップ作業支援システムの実装

(1)

ユーザフィードバックへの適応メカニズムを組み込んだ

モバイルデスクトップ作業支援システムの実装

Implementation of Mobile Desktop Work Support System

incorporating Adaptation Mechanism to User Feedback

齋藤晴紀

1∗

_{高橋良暢}

2

_{栗原聡}

1,2,3

Haruki Saito

1

_{, Yoshinobu Takahashi}

2

_{, and Satoshi Kurihara}

1,2,3 1

_{電気通信大学大学院情報システム学研究科}

1

_{Graduate School of Information Systems, The University of Electro-Communications}

2

_{電気通信大学大学院情報理工学研究科}

2

_{Graduate School of Informatics and Engineering, The University of Electro-Communications}

3

_{人工知能先端研究センター}

3

_{Artificial Intelligence eXploration Research Center}

Abstract: 近年，環境または人に対して能動的にインタラクションを行うアンビエントの研究に注 目が集まっている．本論は，オフィスの PC を用いたデスクトップ作業に着目し，作業環境の快適性向上を目的として研究を行っている．デスクトップ作業では，PC のウィンドウの配置動作，机上物品の取り出しや片付けは，作業者に煩わしさを感じさせ，作業効率の低下，作業時間の増大を招く．我々は PC のウィンドウや机上物品を自律行動可能なエージェントとして扱い，ユーザによる配置動作の低減を図る．これまで，今回新たに，モバイル化とユーザフィードバックへの適応メカニズムを実装し，適用範囲の拡大とインタラクションの精度向上を評価実験にて評価した．

1 序論

近年，情報処理技術の進歩，センサデバイスや通信機器の小型化，低価格化によって，IoT（Internet of Things[1]）技術を駆使したデバイスの普及が進んでいる．IoT とは，実環境に存在する様々なモノに通信機能を付加することで，インターネットへの接続やモノ同士の相互通信が可能とし，モノ自身が自動的に認識や制御などを行う技術のことである．こうした，技術の進歩を背景として，環境や個別の人に応じてインタラクションを行うアンビエント研究に注目が集まっている．アンビエント研究の多くは，空調や BGM，照明などを操作することによって，省エネやユーザの生活空間の快適性向上やを目指すものが多い [2][3][4]．ただ，現代社会において，人は仕事や趣味，勉強などの作業を行っている．そこで，アンビエント技術の適用視野を広げ，室内空間全体の快適性向だけでなく，アンビエントによる作業支援行い，作業環境そのものの快適性向上も重要な課題のひとつである．本研究では，室内空間で行われる作業のうち，現代 ∗_{連絡先：所属機関電気通信大学大学院情報システム学研究科} 住所〒 182-8585 東京都調布市調布ヶ丘 1‐ 5‐ 1 E-mail [email protected],is.uec.ac.jp のオフィス環境において増加している PC を用いた机上作業に着目する．PC を用いた机上作業で人は，作業目的に応じて PC のアプリケーションウィンドウや机上物品の配置動作を行うつまり，ユーザは．ウィンドウや机上物品の配置動作をあらかじめ行い，作業目的に応じた作業環境を構築することによって，作業の効率化や時間短縮を図っている．しかしながら，PC のウィンドウや机上物品のの再配置動作は本来の作業目的とは異なる前準備である．再配置動作は，日々繰り返し行われる作業においてユーザに煩わしさを感じさせる．また，再配置にかかかる時間が蓄積することで時間的損失が増加する恐れがある．繰り返し行われる作業において，その配置動作や時間的損失を低減する研究として藤田ら [6] や兒島ら [7] が提唱するインタラクティブデスクトップ作業支援システム（AIDE：Autonomouse Intaractive Desk Environment）

が挙げられる．AIDE では，PC 上のウィンドウや机上物品を自立行動可能なエージェントとして扱うことで，ユーザに代わって作業内容に応じて再配置動作を行う．事前に取得するユーザの作業履歴データから，作業ごとの特徴を抽出する．抽出結果とリアルタイムのセンシングデータを照合することで作業内容を判断し，再配置動作を AIDE が行うことを通じて作業支援を行う．

(2)

富士たらや兒島らは AIDE システムを実装し評価実験によってその有用性を確かめている．．しかしながら，既存の AIDE 研究では利用範囲の拡大を目指したとき，いくつかの解決すべき課題が存在している，まず，作業内容を分類する際，人手による分類を必要とする点である．人手による，ユーザに負担の増加する恐れがある．次に，既存システムでは，デスクトップ型 PC での作業を想定してシステムが構成されている点である．モバイル型 PC も多く用いられるようになったオフィスへの適用が難しく，適用範囲の拡大に課題が残る．最後に，AIDE が行う再配置動作がユーザに対して一方的な作業支援で終わっている点である．作業支援動作が，現ユーザの現作業にとって妥当であるかが不明瞭となっている．そこで，本論では既存の AIDE で明確化した課題を解決するべく新たに「AIDE Mk-II（Mark-II）」を提案する．AIDE Mk-II では，非不値行列因子分解（NMF： Non-negative Matrix Factorization）[5] を作業分類に適応し，作業分類の自動化を図る．また，AIDE の構成要素を再編し，改良を加えノート型 PC，Web カメラ，ロボットアームのみで様々な環境に対応する．最後に，AIDE が作業支援を行った後の，ユーザリアクションをセンシングすることでインタラクションの精度向上を図る．以上の提案手法を AIDE Mk-II にて実装し，評価実験によってその有効性の確認を行った．

2

3 AIDE: Autonomouse

Interac-tive Desk Environment

インタラクティブデスクトップ作業支援システム「AIDE （Autonomous Interactive Desk Environment）」とは，

PC 上のアプリケーションウィンドウや机上の実物体を「自律可能なエージェント（自律エージェント）」として扱うことで，作業支援を行い作業の効率化を試みている．具体的には，システム自身が作業者が行おうとしている作業を予測し，ウィンドウや実物体が自律的に適切な配置場所へと移動することでより快適な作業環境を迅速に構築するインタラクションを行う．AIDE の概観図を??に示す．AIDE では，作業者が PC 作業 を通常通り行えるように作業者の正面にメインディス

(3)

プレイを配置している．その他に，机部分にもタッチ式ディスプレイを配置しており，ディスプレイ上に表示されるアプリケーションウィンドウと書類や本，メモなどの実物体の見比べが容易となるように構築している．さらに，実物体の自律的な移動を可能にするために，Web カメラとロボットアームを設置している． Web カメラは机全体を俯瞰できるように設置してあり，実物体の名前と場所の情報を取得するために用いられ，取得した情報をもとにロボットアームを用いて実物体を把持し，移動を行う動作を想定している．また，作業者のジェスチャーによってインタラクションを行うことを想定し，作業者の動作認識が可能な Kinect を使用している． AIDE がユーザに対して作業支援を行うためには，あらかじめユーザの作業情報を取得する必要がある．つまり，事前に作業履歴から各作業目的に応じてよく使用する PC ウィンドウや作業物品の配置の特徴を抽出したうえで，リアルタイムセンシングのデータと抽出した特徴量の比較結果に応じて，作業支援インタラクションを実行しなくてはならない．兒島ら [7] は，PC のウィンドウの位置，大きさ，表示階層などの情報に対し，作業が切り替わる条件を詳細に設定して作業の切り分けを行っている．さらに，切り分けた作業に対して k-means 法による分類手法を用いている．k-means 法は事前に分類数を決定する必要がある．しかし，事前に作業分類数を知ることは困難であるため，人手でクラスタリング内容を見ながら，クラスタ数を変化させ，複数回クラスタリングを行い，最適だと思われるクラスタ数を決定する．インタラクション実行時においても，PC のウィンドウの位置，大きさ，表示階層などの情報に対し，作業が切り替わりを判断する条件を設定し，作業支援を行う．AIDE の実装した主観評価の実験において良好な結果を結果を残しているものの，作業を予測判断の結果が間違っていた場合，作業支援の内容の修正は行われず，間違った作業が繰り返し行われる．また，作業ごとのユーザの配置の趣向が変わっても，作業支援の内容が修正されることはない．

4 提案手法

AIDE Mk-II

（

Mark-II

）

多様化するオフィスのデスクトップ環境では，デスクトップ型 PC だけでなくノート型 PC も多く用いられるようになってきている．従って，既存の AIDE では，固定式のため現在の多様化されたオフィスのデスクトップ環境に対応できない．また，既存の実装手法ではデータ解析を行うとき，タスク分類の結果を人の手で確認し調整する必要が生じる．作業分類を逐次人図 2: AIDE の概観図手で確認することは利用者の負担増加につながる恐れがあり，モバイル化を行う際にそのまま既存手法を適応することはできない．さらに，既存の AIDE のシステムでは，作業内容に合わせて適切なインタラクションが実行されているかどうかの判断が行われておらず，一方的な動作でインタラクションが終わっている．そのため，システムと人とで相互のインタラクションが実行されているかは疑問が残る．そこで，AIDE Mk-II ではモバイル化と新たなクラスタリング手法の検討を行った上で，システムの流れを改良し，システムがユーザのリアクションセンシングを行い，データ解析にセンシング結果をフィードバックすることでより適切なインタラクションの創出を目指す．

4.1 AIDE のモバイル化

モバイル化に向けての提案手法を述べていく．本節では，モバイル化に向けて AIDEMark-II で改善すべき点をハードウェア面とソフトウェア面に分けて考え，それぞれについて説明していく． 4.1.1 ハードウェア面の改良まず，ハードウェア面について考えていく．AIDE の主なハードウェアの構成要素は，主な作業環境である「PC」，机上の物品を動かすための「ロボットアーム」，机上の物品を観測するための「カメラ」の 3 つである．既存の AIDE では PC はデスクトップ型のみ対応していたが，多様なオフィス環境において，AIDE Mk-II ではノート型 PC にも対応していく必要がある．ノート型 PC も用いられるようになると，画面のサイズが場合によって大きく異なる．画面サイズの変化に伴う対応は，主に仮想環境の画面領域，ウィンドウサイズが異なることが問題となるためソフトウェア面で対応していくことする．

(4)

ロボットアームについては，既存システムではロボットアームが左右一つずつ，2 機用意され，作業者の両側から物品の出し入れに関する支援を行っていた．モバイル化することを考えたとき，2 機もロボットアームがあることは持ち運びの際に荷物となり不便である．そこで，ロボットアームは持ち運びが可能で，可動域が広いロボットアーム 1 機を採用する．ロボットアームは，ユーザの左または右側に設置し，物理的な作業支援を行う．モバイル化するに当たって，カメラが計測すべき物体の位置やカメラ自身の位置は，デスクトップ環境毎に異なる．この問題に対処するため，AIDE Mark-II では，カメラの画角内に作業領域，非作業領域，ロボットアームが収まるように設置するだけで相対的に配置を取得できるようにする（図 3）．作業領域とは，作業者が作業を行うときに用いるスペースのことで，右利きと左利きで異なるがおよそ作業者の手元付近の領域となる．非作業領域とは，作業者から見て作業領域のさらに外側の領域のことであり，物品の収納スペースとして扱う．作業領域と非作業領は，図 3 の赤枠のようにマーカー（Point）を用いて，緑線のような境界線図を引く．マーカーは，ユーザが作業環境に応じて自ら設定できるようになっている．また，ロボットアームは画角内でキャリブレーション動作を起こすことで，ロボットアームが持つ座標とカメラで取得する座標を相互に変換できるようにし，使用する PC や場所などの環境が変化しても適切なインタラクションを行えるようにする．AIDE Mk-II で想定している作業環境において，ロボットアームとカメラ，机，作業物品の位置はカメラの画角内で比較的近い位置に存在するため，平面的なキャリブレーションを行う．ロボットアームのハンドを動作範囲の原点とロボットアームから見て動作範囲内の左上端点の二点に移動させ，ロボットアームが持つ座標情報とカメラが記録した座標情報が同じ値になるように座標変換を行う．本研究で構成した AIDE Mk-II の概観を図 4 に示す． 4.1.2 ソフトウェア面の改良オブジェクトエージェントのデータ取得は作業者の環境によって座標位置が変化する．したがって，既存手法のように使用する際の位置の座標や普段から収納されている位置の座標をある環境で記録しても，異なる環境ではカメラやロボットアームなどの位置が変化するためそのままの座標を使用することはできない．そこで，物品の座標位置を記録するのではなく，使用の有無を先ほど設定した作業領域と被作業領域に割り当て二値（0,1）で記録する．作業領域に物品がある場合は使用していると見なして「1」を記録し，被作業領域図 3: 作業領域と非作業領域図 4: AIDE Mk-II の概観図に物品がある場合は使用していないと見なして「0」を記録する．二値で記録することによって，次節で説明する非負値行列因子分解（NMF：Non-negative Matrix Factrization）を利用した作業クラスタリングが行える利点がある．オブジェクトエージェントのインタラクション時にユーザが設定した作業領域の境界線を基に二値を設定し，物品の出し入れに関するインタラクションを行う．ウィンドウのログ情報もユーザが使用する PC の画面サイズによって変化するが，PC の画面領域に関する情報は実物体に比べて比較的容易で正確に取得できる．そのため，ログデータ取得時に PC の画面サイズデータを取得し記録することとインタラクション時の動作を改良することで対応する．インタラクションフェーズにて PC の画面サイズを取得し，ログデータと現在の PC の画面サイズを比較する．現在の PC の画面サイズとの比較結果がログデータの PC の画面サイズと異なる場合，PC の画面サイ

(5)

ズの縦と横の比に応じてアプリケーションウィンドウを等倍，等縮する．作業の主役，メインウィンドウとなるウィンドウについては，ウィンドウサイズが小さくなりすぎないように工夫を施す． AIDE Mark-II を起動するプログラムが実行された後，画面サイズの取得を行い，ログデータ収集時の画面サイズと，現作業環境の画面サイズを比較する．もし画面サイズが小さくなっていた場合，現在の画面の縦横比とログデータ取得時の画面の縦横比をそれぞれ求める．さらに，縦の比を 1 としたときのそれぞれの横の比を求める．横の比を現在の画面とログデータ取得時の画面サイズで比較し，横の比の縮小率の逆数を掛け，幅を大きく表示するようにする．

4.2 NMF を用いた作業クラスタリング

自動的に作業を分類するために，本研究では非負値行列因子分解（NMF：Non-negative Matrix Factoriza-tion）を用いて作業分類を行う．NMF とは，0 または正の値を持つ行列を解析する手法のひとつである．0 または正の値を持つ行列に表現することが可能であれば，データの種類によらず解析が可能であるとされている ??．NMF の解析によって得られる結果は，行列として 表現したデータ中に存在するいくつかの頻出パターンである．NMF を用いて得られる解析結果，表現行列中に存在する頻出パターンに基づいて，信号が分類されたり，データの要素がクラスタリングされるので，推薦システムなどより上位のタスクで解析結果の利用ができる．本研究では，ログデータを NMF を用いて解析できる形に変換し，ソフトクラスタリングを実行する．ログデータは，アプリケーション名，アプリケーションウィンドウの配置情報，物品名，物品の座標などが時刻データとともにテキストデータとして記録されている．このテキストデータを時系列で並べ，アプリケーションウィンドウと作業物品の使用状況が表現可能な非負値の行列にできれば，NMF のアルゴリズムを適用し，ログデータ中の頻出する作業パターンを抽出できる．以下の手順で NMF を用いてログデータの解析を行っていく． (1) ウィンドウ環境と実環境のログデータの取得 (2) ログデータから作業情報を非負値行列に変換 (3) NMF を用いた作業タスクのクラスタリング (1) ウィンドウ環境と実環境のログデータの取得 ユーザの作業履歴からアプリケーションウィンドウに関する情報と作業物品（オブジェクト）に関する情報を取得する．アプリケーションウィンドウに関して取得する情報は，「年月日，時刻，ウィンドウタイトル，ウィンドウ各辺の座標」の 5 項目である．ウィンドウのログデータ中のウィンドウタイトルから既存の AIDE と同様にアプリケーション名を抽出し，ウィンドウクラスとして記録していく．ウィンドウログはテキストデータとして保存する．オブジェクトに関して取得する情報は，「年月日，時刻，オブジェクト名，オブジェクトの座標」の 4 項目である．オブジェクト名は QPToolKit を使って設定した ID のことである．オブジェクトログもテキストデータとして保存する．ログデータは，1 分間隔で記録し，テキストファイルとして保存する．記録間隔を 1 分としたのは，人が作業を切り替えるとき，ウィンドウや実物体を一つずつ移動して次の作業環境を構築するので，作業と作業の間にはある程度の時間的間隔が存在し，作業の切り替えのノイズを低減する為である．また，取得間隔を延ばすことで記録データが膨大になることを防ぐ目的もある． (2) ログデータから作業情報を非負値行列に変換 NMF は非負値行列しか解析することができないため，テキストデータとして保存されるログデータを変換していく必要がある．ログデータのテキストデータはカンマ「，」と改行で区切られているため csv ファイルに変換できるようになっている．解析のため，テキストデータを csv ファイルに変換してからログデータをもとに非負値行列を作成していく．年月日データや時刻データとともに使用したウィンドウやオブジェクトを記録しているので，年月日データと時刻データを統合して年月日と時刻データに基付き，別々に保存されているウィンドウログとオブジェクトログを統合し時系列で並べ替える．並べ替えを行った後，行列の行に時間情報を列にウィンドウ情報やオブジェクト情報を設定し，使用の有無を二値に変換して非負値行列を作成する． (3) NMF を用いた作業タスクのクラスタリング 二値変換をしたログデータをもとに，NMF を用いた作業タスクのクラスタリングを行う．NMF を用いるときに，事前に決定する基底の数は設定せずに，最小化された距離を観測し，その距離が飽和するまで基底の数を増加させる手法をとる． NMF はソフトクラスタリングの一種で，どの作業タスクにも存在するウィンドウやオブジェクトもそれぞれの因子に分解される．本研究の場合，因子はタスククラスタ，要素はウィンドウクラスとオブジェクト名に相当する．また，作業内でメインに使われるウィン

(6)

ドウやオブジェクトは各因子においての特徴量として数値表現されるため，数値が大きければ大きいほど因子の特徴をあらわす要素となる．したがって，クラスタ内で特徴となるウィンドウクラスやオブジェクト名が数値化されているので，最も高い特徴量を持つウィンドウクラとして抽出することができる．本研究の手法では，座標情報を落として解析しているため，タスククラスタデータに対して再び座標情報を付加する必要がある．座標情報の付加は，NMF 後の時間を要素の持つ因子行列（図 6）をもとに行う．時間を要素に持つ因子行列（図 6）は各時間に含まれるクラスターの特徴量が表現されている．たとえば，クラスター番号 1 のタスククラスタの特徴量は 2:18 から 2:23 までの間に良く含まれ，2:18 が最も高い特徴量となっている．各タスククラスタにおいて最も高い特徴量の時刻をもとに，csv ファイルを参照し，タスククラスタデータの項目に応じて座標情報を付加していく．ウィンドウクラスの場合は，ウィンドウの各辺の 4 つ座標を付加するが，オブジェクトエージェントは使用の有無を二値で付加していく．クラスター番号 1 のタスククラスタデータを例にすると，時間に関する NMF の解析結果から，2:18 が最も特徴量が高いと判断できる．最も高い特長量を持つ時刻 2:18 をもとにログデータの csv ファイルを検索し，Explorer，Winlogger，Google， LINE，CPU メータの座標情報を取得し，タスククラスタデータに付加する．

4.3 ユーザフィードバックへの適応メカニズ

ム

インタラクションの妥当性を検証するために，AIDE Mk-II がインタラクションを行った後にユーザのリアクションをシステムが観測する「リアクションタイム」を設ける．リアクションタイムでは，AIDE Mk-II が行ったインタラクションとユーザが行ったインタラクションをどう修正したかを観測する．インタラクションとリアクションの間にはユーザが考え判断するタイムラグが生じるため，ユーザのリアクションを検出するには，十分にリアクションタイムを確保する必要がある．事前に行った調査からおよそ 1 分以内でリアクションが完了することが分かったので，本研究においては，リアクションタイムを 1 分と設定する．リアクションタイム内で，ユーザが AIDE Mark-II の行ったインタラクションを変化させなかった場合，ユーザは AIDE Mark-II が行ったインタラクションを妥当なインタラクションだと感じ作業を継続したと判断する．ユーザが AIDE Mark-II の行ったインタラクションを変化させた場合，AIDE Mark-II が行ったインタラクションを自分の意図とは異なるインタラクション図 5: NMF 後のウィンドウクラスとオブジェクト名を要素に持つ因子行列図 6: NMF 後の時間を要素の持つ因子行列を行ったと判断する．AIDE Mark-II は，ユーザの意図と異なるインタラクションを行ったとき，提示したインタラクションを修正する必要がある．タスククラスタデータをもとにインタラクションを実行するので，ユーザのリアクションデータを取得しタスククラスタデータを更新することで対応する．提示したインタラクションの内容と 1 分後の作業情報を比較し，提示したインタラクションが正しかったかどうかを判定する．判定結果によって，AIDE Mk-II はユーザのフィードバックに適応していく．ウィンドウや作業物品の変化が無かった場合は，インタラクションが適切であったと判断し，今後も同様のインタラクションを行う．提示したウィンドウや作業物品の作業情報のみが異なっていた場合は，インタラクションのもとになったクラスタ中の各ウィンドウや作業物品の座標情報を更新する．メインウィンドウが変わらず，ウィンドウや作業物品の追加や削除が行われている場合は，インタラクションのもとになったクラスタ中のウィンドウや作業物品の追加や削除を行い，追加するエージェントの座標はフィードバック時の座標とする．メインウィンドウが変化しており，ウィンドウや作業物品の

(7)

表 1: AIDE Mark-II のオブジェクトログデータ実際に使った実際に使ってない使うと予測 1 → 1 1 → 0 使わないと予測 0 → 1 0 → 0 追加や削除が行われている場合は，メインウィンドウが同じとなるクラスタを検索し検索結果が存在すれば，そのクラスタ情報を更新する．存在しなければ，現在の作業情報を新たなタスクとして，タスククラスタに追加する．さらに，AIDE Mark-II がユーザに対してインタラクションを行えなかったときも，ユーザのフィードバックに適応する．ウィンドウがアクティブになったにもかかわらず，提示できるインタラクションがなかった場合， 1 分後にユーザのフィードバックを取得する．フィードバック時の現ウィンドウを含む作業履歴から生成されたタスククラスタ内で検索する．一致度が高いタスククラスタがある場合は，フィードバック時の情報と比較作業を行い，タスククラスタ中の座標の更新や追加，削除を行う．存在しなかった場合，新たなクラスタとして追加する．オブジェクトデータの座標位置の更新については，表 1 のように使用の有無を表現する二値を更新する．

5 評価実験

3 名の被験者の協力の下，デスクトップ型 PC を用いて 1 時間で決められたタスクを 6 つ行って貰い，データを取得した．各実験においては，同一の被験者で行った．クラスタリングの検出精度の検証とエージェントの動作評価を行った後，得られた結果を基に，モバイル環境で設定するタスクとフィードバックへの適応メカニズムの評価実験で使うタスクを設定した．

5.1 エージェントの動作評価実験

決められたタスクの構成要素に対する生成されたタスククラスタの精度を F-尺度を用いて検証した．さらに，生成されたタスククラスタを用いて動作評価を行った．評価実験では，デスクトップ型 PC を用いて被験者にタスクで使用するウィンドウや物品を含め全てのウィンドウと物品を出鱈目な位置に置いてもらった．そして，AIDE Mark-II を起動し，各タスクでメインウィンドウとなるウィンドウをアクティブにして，再配置動作が上手く行われるかどうかを評価した．表 2: クラスタリングの F 値と動作評価被験者A 被験者B 被験者C タスク F値評価 F値評価 F値評価 1 1.0 良い 1.0 良い 0.86 良い 2 1.0 良い 1.0 良い 0.57 やや良い 3 0.89 やや良い 1.0 良い - 悪い 4 0.86 やや良い 1.0 良い 0.86 良い 5 0.91 良い 1.0 良い 1.0 良い 6 0.86 やや良い 0.67 悪い 0.57 悪い平均 0.92 - 0.95 - 0.63 -表 3: モバイル環境下での被験者 B の動作評価結果被験者B 被験者C タスクデスクトップモバイルデスクトップモバイル 1 良いやや良い良いやや良い 2 良いやや良い - -3 良いやや良い - -4 良い良い良い良い 5 良い良い良いやや良い動作評価に関しては，タスク毎の動作結果に対して，「良い，やや良い，やや悪い，悪い」の尺度で評価してもらった．評価基準は，そのままタスクを始められるときは「良い」，多少の調整の後，スムーズにタスクを始められるときは「やや良い」，タスクを始めるのに手間取るときは「やや悪い」，見当違いな動作をしたときは「悪い」とした．F 値と動作評価を表 2 に示す．

5.2 モバイル環境下での動作の評価

F-尺度と動作評価の結果が良かったタスクをモバイル環境の評価実験で用いて，エージェント動作の評価の変化を確認した．先ほどのエージェント動作の評価実験と同様に，AIDE Mark-II 起動後に，出鱈目に配置したウィンドウなどが，メインウィンドウをアクティブにしたとき適切に再配置されるか評価した．評価基準は先ほどの実験と同様に設定した．ノート PC を用いたモバイル環境で，AIDE Mark-II を動作させたときの評価結果を表 4 に示す．スペースの都合上，被験者 B と被験者 C のみの結果のみ載せる． F-尺度と動作評価の結果が良かったタスクをモバイル環境の評価実験で用いて，エージェント動作の評価の変化を確認した．先ほどのエージェント動作の評価実験と同様に，AIDE Mark-II 起動後に，出鱈目に配置したウィンドウなどが，メインウィンドウをアクティブにしたとき適切に再配置されるか評価した．評価基準は先ほどの実験と同様に設定した．ノート PC を用いたモバイル環境で，AIDE Mark-II を動作させたと

(8)

表 4: モバイル環境下での被験者 B の動作評価結果被験者B 被験者C タスクデスクトップモバイルデスクトップモバイル 1 良いやや良い良いやや良い 2 良いやや良い - -3 良いやや良い - -4 良い良い良い良い 5 良い良い良いやや良い表 5: エージェント動作評価結果被験者A 被験者B 被験者C フィードバックフィードバックフィードバックタスクなしありなしありなしあり 3 - - - - 悪い良い 4 やや良い良い - - - -6 やや良い良い悪い良い悪い良いきの評価結果を表 4 に示す．スペースの都合上，被験者 B と被験者 C のみの結果のみ載せる．

5.3 ユーザフィードバックへの適応の評価

F-尺度と動作評価の結果が悪かったタスクを用いて，エージェント動作がユーザフィードバックによって改善されたかを確認した．デスクトップ環境で，これまでの実験と同様に，AIDE Mark-II 起動した後に，メインウィンドウをアクティブにして再配置動作に対する評価を行った．評価結果を表 5 に示す．

6 考察

NMF を用いた作業クラスタリングの精度評価では， F 値の平均が 2 被験者で 9 割以上を示したが，1 被験者で約 6 割となった．タスクの分類がおよそ出来ているが，精度向上のための改善が必要である．作業時間が短いタスクの検出に問題があったと考えられる．モバイル環境での動作評価では，デスクトップ環境に比べ，やや評価が下がったが，作業がスムーズに行われていた．画面領域に応じてウィンドウが小さくなってしまうことが要因と考えられる．ユーザフィードバック適応後のエージェントの動作評価では，全てのタスクで改善が見られた．ただ，メインウィンドウが同じでサブウィンドウが異なる場合などに対応できず，更なる改良が必要と考える．

7 結論

本研究では，既存の AIDE を拡張した AIDE Mk-II を提案し, 評価した．AIDE Mark-II にて，ユーザの作業分類に NMF を用いることで，クラスタリングの自動化と簡易化を図った．モバイル化においては，ロボットの位置補正動作やウィンドウサイズの変換等の対策を講じて対応した．さらに，ユーザの応答を観測し，観測結果からタスククラスタを更新することによるユーザフィードバックへの適応メカニズムを構築し，インタラクションの精度を向上させた．今度の課題としては，座標情報を含むクラスタリング手法の適用やモバイル環境でのユーザフィードバックへの適応，画像認識技術の導入などが挙げられる．

参考文献

[1] Kevin Aston，”That ‘Internet ofThings’ ”，RFID Journal，Vol．22，pp．1，（2009） [2] 西山高史，中島了治，”アンビエントインテリジェンス技術の住宅分野への応用の動向 ”，人工知能学会誌，Vol.． 28，No．2，pp．230-237，（2013） [3] 青木茂樹，大西正輝，小島篤博，福永邦雄，”独居高齢者の行動パターンに注目した非日常状態の検出 ”，電気学会論文誌E (センサ・マイクロマシン部門誌)，Vol． 125，No．6，pp．259-265，（2015）

[4] Le Guilly and T．Smedegerd，J．Pedersen，T，Skou

”To do and not to do: constrained scenarios for safe smart house. In Intelligent Environments (IE)”2015 International Conference on IEEE，pp．17-24（，2015）

[5] D．D．Lee and H．S．Seung，”Learning the parts of objects by non-negative matrix factorization”， Na-ture，Vol．401，No，6755，pp．788-791，（1999） [6] 藤田真康，諏訪博彦，篠田孝祐，栗原聡，”インタラクティブデスクトップ作業支援システム ”AIDE ”におけるウィンドウエージェントの構築と評価 ”，2015年度人工知能学会全国大会論文集，pp.1-4，2015 [7] 兒島健三郎，栗原聡，”デスクトップ作業タスクの分類化とタスク予測に基づくアンビエントな作業支援システムの提案 ”，2016年度人工知能学会，2016 [8] 安藤啓祐，加藤龍，中村達弘，杉正夫．”小型物品搬送ロボットを用いた卓上作業支援システムにおけるロボットのリアクションを用いたユーザ意図推定手法 ”，精密工学会学術講演会講演論文集2015年度精密工学会春季大会，pp．949-950（2015）

[9] M．Sugi，I．Matsumura，Y．Tamura，M．Nikaido，

J．Ota，T．Arai，K．Kotani， K．Takamasu，

H．Suzuki，A．Yamamoto，Y．Sato，S．Shin，

F．Kimura，”Attentive Workbench” Supporting Workers in Cell Production, Journal of Robotics and Mechatronics，Vol．21，No，1, pp．135-145．（2009）

[10] 大山貴史，浅利勇，高嶋和毅，”自律移動・変形する壁

型ディスプレイの設計と評価 ”，情報処理学会，pp ．

(9)

[11] 幸島匡宏，松林達史，澤田宏，”複合データ分析技術と

NTF (1)複合データ分析技術とその発展 ”，電子情報

ユーザフィードバックへの適応メカニズムを組み込んだモバイルデスクトップ作業支援システムの実装