家庭内ユビキタスネットワークと対話型ロボットの協調による人ロボットインタラクション

(1)

家庭内ユビキタスネットワークと対話型ロボットの協調による

人ロボットインタラクション

上田博唯 *

1

_{美濃導彦 *}

1

_{近間正樹 *}

2

_{佐竹純二 *}

2

_{小林亮博 *}

2

_{宮脇健三郎 *}

3

_{木戸出正継 *}

4 *1 京都大学〒606-8501 京都市左京区吉田二本松町 *2 情報通信研究機構 *3 大阪工業大学 *4 奈良先端科学技術大学院大学あらまし: 家庭内のユビキタスネットワークと対話ロボットを接続することによりロボットの状況認識能力を高め，またネットワークを通じて新たに情報を取得することでロボットの状況説明能力を高めることによって、人ロボットインタラクションの新しい展開が期待できる。本稿では、実験用住宅内に、そのようなコンセプトに基づいて構築したシステムと、その住宅を用いて行った生活実証実験の結果として得られた知見について報告する。キーワードユビキタスネットワーク，対話ロボット，状況認識，状況説明，人ロボットインタラクション

Human-Robot Interaction through the Cooperation between

a Home Ubiquitous Network and a Dialog Robot

Hirotada Ueda*1 _{Michihiko Minoh}*1

Masaki Chikama*2 _{Junji Satake}*2 Akihiro Kobayashi*2 Kenzabro Miyawaki*3 Masatsugu Kobayashi*4

*1 Graduate School of Informatics, Kyoto University Yoshida-Honmachi, Sakyo-ku, Kyoto 606-8501 JAPAN

*2 National Institute of Information and Communications Technology *3 Osaka Institute of Technology *4 Nara Institute of Science and Technology

Abstract: The situation recognition ability of the robot is enhanced by connecting a home ubiquitous network and a dialog robot. The situation explanation ability of the robot is also enhanced by acquiring information at through the network. The new development of the human robot interaction can be expected in total. In this paper we describe a prototype system that is developed in the real experimental house based on such a concept. Then, the knowledge which was acquired as a result of the actual proof experimental life in the house.

Keyword ubiquitous network，dialog robot，situation recognition，situation explanation， human robot interaction

1 はじめに

ユビキタスネットワークを一般の住宅に導入するということが夢ではなくなる時代が近付いてきたため、この分野の研究が活発化している [1-7]。家中に配置したセンサ群によって、住宅を知的な存在（スマートホーム [1] ）にしようという考えは、 1990 年代に提唱された。その後、機器の小型軽量化、低価格化も進み、その実現は現実味を増している。しかし、いまだそのメリットが十分には明らかにされておらず、キラーアプリケーションがどのようなものになるのかは誰にも見えていないというのが現状であろう。なんらかの新しいコンセプトとフレームワークが求められている。ユビキタスネットワークによって結合されたセンサ群と情報機器や家電機器などによって、住宅は、それ自身が見えないロボットと化しているととらえ、そして、そこに目に見える存在としての対話ロボットを配するというコンセプトが、そのような要求への答の一つになると考えて、母親・子供メタファという概念を提唱してきた [6, 8]。これは、言い換えるならば、家庭内ユビキタスネットワークと対話型ロボットの協調が、新しい人とロボットのインタラクションを生み出し、それによって従来にない新しいサービスを実現できるという考え方である。本研究は産学官の共同プロジェクト（通称ゆかりプロジェクト）として進められた。ゆかりプロジェクトでは、「ユビキタスホーム」と名付けた各種センサと情報機器や家電品がネットワークで統合され 15

(2)

-Fig. 1 母親・子供メタファた実験用住宅設備を構築し、この設備を用いて生活実証実験を行いつつ、研究開発を進めてきた [4]。従来の類似研究では、人間の状態や行動の解析を行うことのみに重点が置かれていたり、あるいは実際の 24 時間の生活を長期に渡って継続するだけの設備が整っておらず、生活の部分を切り取ったような実験しか行っていなかったりということも多かったが、ゆかりプロジェクトでは、まず、普通の家族に長期間にわたり自然に生活してもらうことを重視した。そしてその自然な生活の中で、ネットワークで結合された家電製品や情報機器が、同じネットワークによって結合されている各種のセンサと共に協調動作することによって、新しいサービスを提供したときに、それらを生活者がどう受け止めるのかということを知ることを重視した。このゆかりプロジェクトを開始するにあたり、筆者らの具体的な問題意識は次のようなものであった。近年住宅内で利用されるアプライアンス（本稿では住宅内に存在する家電品等の機器を総称して、こう呼ぶ）が多機能、複雑になっているために、機能が存在するのにユーザがそれに気付かなかったり、組み合せれば実現できる機能があっても、その組み合せ機能をユーザ自身の手では実現できなかったりするということが増えてきている。このような状況を打破するためには、操作を指示するタイプの従来型のインタフェースではなく、ユーザが何をしたいのかを示すことで、あるいは何をしたいのかということをシステム側が読み取ることによって機能を発現させるというような、新しいスタイルのインタフェースを開発する必要がある。つまり How 型から What 型へという発想の転換であり、それは機能環境制約、履歴制約、構文制約の利用などといった知的処理技術により実現されるであろうと考えた。こういった技術を用い、センサーネットワークと家電製品と、対話型ロボットとを統合したサービスを構成することで、環境や個人の状況に応じて、ダイナミックに対応することのできるコンテストアウェア・サービスを実現することがゆかりプロジェクトの大きな目標の一つであった。このような目標を達成するためには、家庭内のユビキタスネットワークと、そこで利用される対話型ロボットのコンセプトとフレームワークの明確化、具体的で実用的なプロトタイプの設計と実装、生活実証実験による評価、そして、それらを通じての新しい知見の獲得が不可欠であった。本稿では、これらについて報告する。 2

基本コンセプト

ゆかりプロジェクトにおける基本コンセプトは、家庭内ユビキタスネットワークと対話型ロボットの協調が、新しい人とロボットのインタラクションを生み出し、それによって従来にない新しいサービスを実現できるという考え方である。張り巡らされたセンサ群からの情報によってロボットの状況認識能力を高めることができる。そして、その状況認識結果をフルに活用したコンテクストアウェアなサービスを提供するに際し、音声による人との対話とネットワークからの新たな情報の取得を通じて、ロボットの状況説明能力を高めることによって、人ロボットインタラクションの新しい展開が期待できると考えられる。前述したように、知的なサービスを提供する能力を持つ家「ユビキタスホーム」は、それ自身をまるまる一つのロボットシステムであるとしてとらえることができる。そしてこの中に身体性のある対話ロボットを加えて、その全体を母親・子供メタファという枠組みによって統合する。この枠組みでは、 Fig. 1 に示すように、目に見えない存在である、いわゆるアンコンシャス型ロボットである住宅は、各種センサ情報に基づいて自律的にネットワーク上のアプライアンスを制御する機能を持ち、これは、どこからともなく、家族を温かく見守り、必要なときには、さりげなく支援してくれる存在として、すなわち母親メタファにより設計される。そして、身体性を持つビジブル型ロボットは、ユーザとの対話を行い、それに基づいて母親と協力してアプライアンスを制御する存在として、すなわち子供メタファにより設計される。そして、この両者の分散協調によって、コンテストアウェア型サービスが実現される。このような構成を採ることで、自然言語による対話を活用したインタフェースを実現でき、これによってより質の高いコンテストアウェア・サービスを提供することが可能になる。またサービスを実行する前の問い合わせだけではなく、ユーザとの何気ない会話の中で、ユーザにとっては未知であったサービスの存在に気付かせたり、サービスを実行した後に、ユーザからの質問に答えたりすることができる。またこの説明機能を応用することで、ユーザの嗜好等を学習する機能を持たせることもできる。

3 ユビキタスホームの概要

ユビキタスホームは研究開発環境であり、同時に実証実験用住宅である。当初は一戸建てとする案も検討したが、工期を大幅に短縮できることから、研 16

(3)

-Fig. 3 対話ロボット Phyno 究所の既存の建物内の一つのフロアのほぼ半分の面積を占有する形で構築した。ただし、長期滞在型の生活実証実験を重視したので、水まわりも完備し、リビングルームとダイニング・キッチン、書斎、寝室、浴室、トイレなどを完備している。また生活者が建物に出入りする通路にも特別な配慮をして、生活実験中の被験者は、昼夜 24 時間いつでも自由に自分の居住空間に出入りでき、通勤や通学を含め、普通のマンションでの生活と限りなく近い生活をすることができるようにした。ユビキタスホームでは、Fig. 2 に示すように、居住空間のあらゆるところに、ネットワークで相互に接続されたセンサと家電製品を始めとする各種機器を設置している。センサに関しては、各部屋と玄関、廊下に、カメラやマイク、RFID タグ・スキャナ、床圧力センサ（6 cm 間隔で床一面にオンオフ型のセンサが敷き詰められている）、人感（焦電）センサなどが取り付けられている。これらにより実行可能なセンシングとしては、（a）生活者の足跡を追跡する移動経路履歴、（b）生活者が身に付けている RFID や、ロボットのカメラ画像からの顔認識による個人識別、（c）天井カメラや扉開閉センサなどを組み合せて、生活者の動作を解析し、タスクモデルと照合する手順同定、（d）ベッドのシーツの下に入れたセンサによって呼吸や身体の動きを計測し、そこから睡眠の深さを推定する睡眠センサなどが主なものとしてあげられる。家電製品に関しては、ネットワーク対応に改造された冷蔵庫や洗濯機が設置され、さまざまな場所に大型テレビディスプレイが設置されている、それらに表示するコンテンツは、ネットワーク経由で自由に制御することができる。音声情報についても、全ての部屋の天井にスピーカとマイクが設置されている。

4 対話インタフェースロボット

前述した母親・子供メタファの子供を担当する対話インタフェースロボット（Phyno と名付けた）に関しては、次のような考え方を基本とした[8]。・二足歩行はしない代わりに至る所に置く・どこにでも置けるサイズとする・子供らしいかわいい仕草を可能とするこのような条件から、全高は 25cm に抑え、運動の自由度は、頭部が 3、二本の腕にそれぞれ 1、胴に1 の合計 6 自由度とすることにし、ユーザとの対話を行うためのデバイスとしては、CCD カメラとマイク、スピーカを持たせることとした。試作したロボットPhyno の全体像を Fig. 3 に示す。ラジコン用のサーボや、USB カメラなどを積極的に用いることで、小型・軽量化と開発コストの低減を図っている。ユビキタスホームでは、Fig. 2 の中に示したように、この対話ロボットを居住空間内の要所要所に設置している。生活者はアンコンシャス型ロボットである住宅全体が自律的に提供してくれるサービスを享受することは勿論、その時点時点の状況に応じて実行可能なサービスの存在を、Phyno との対話によって知り、その実行を依頼したり、逆にサービスの実行を中断させたり、実行パラメータの変更を指定したりすることができる。また、時にはPhyno との対話によって、現在実行されている各種サービスの実行状況を聞いたり、それぞれのサービスが何故起動されたのかという理由の説明を求めたりすることも可能となっている。

5 実現したサービス

ユビキタスホームに実装した主なサービスの概要 Fig. 2 ユビキタスホームの平面図 17

(4)

-Fig. 4 コンテクストアウェア型サービス実行のフレームワークは以下のとおりである（これらのサービスは、Fig. 4 に示したようなフレームワークの上で実現されている）。 a）ネット家電の制御照明器具やテレビ、エアコンなどの家電機器のリモコン制御同等の機能は、全てネットワーク経由で制御できるようになっているので、これらを Phyno との音声対話によって実行できるようにした。 b）忘れものチェック外出する家族が玄関に近付いたときに、それを床センサとRFID タグによって認識する [10] ことで起動するサービスで、持ち物に付けられているタグの認識結果と、その日の行動予定から分かる行き先、そして過去の履歴による行き先と持ち物の対応リストを用いて、下駄箱の上に置いたPhyno が、その家族と対話しつつ、忘れ物がないかチェックする。 c）テレビ番組推薦 RFID や顔認識によって、テレビの前に来たのが誰であるかを特定し、あるいは対話による依頼で起動するサービスで、その家族の TV 視聴履歴や嗜好と、ネット経由で得られる電子番組表とを使って、 Phyno との音声対話により、放送中、あるいは録画済みの適切なテレビ番組を推薦し、見たいと言われたら、それを画面に映し出す [12]。 d）料理レシピ検索後述する連想尻取り対話と名付けたメカニズムによるPhyno との音声対話によって、蓄積されている 1000 種類のレシピの中から、対話者の気に入るメニューを探し出す。 e）洗濯終了通知洗濯機が洗濯を終了したときに、その信号をネットワーク経由で受けたサービスが、RFID タグなどのセンサのデータによって、洗濯を開始した家族がどこにいるかを探し出し、その身近にあるデバイスを使って通知する。類似のサービスとして、話したい家族が誰であるかを告げると、その家族の居場所を特定して、それぞれの身近にあるデバイスでテレビ電話や音声電がつながるというものもある。

6 新しく実現した対話メカニズム

6.1 理由説明対話メカニズムユビキタスホーム内に実装したサービスは、センシングによって状況（コンテクスト）を認識しつつ実行するコンテクストアウェアなサービスである。従って、その時々の状況、特にサービス実行のトリ 18

(5)

-Fig. 5 試作したサービスの事例ガとなった事象を、データベース（Fig. 4 中の分散環境行動データベースと名付けたもの）内にきちんと残すように設計しておけば、そのログを用いて、なぜという問い合わせに対して、そのサービスを実行した理由を答えることが可能となる。今回は、この機能を分散環境行動データベースを参照してユーザと対話するロボットの機能として実装した。このメカニズムは、将来的には、ユーザが困っているときに、その状況を判断し、データベース内にある操作説明の情報を検索し、ユーザをガイダンスするような仕組みをも包含することができるであろう。家電機器の取り扱い説明書がネットワーク上から電子的に参照されるようになることで、このような機能は、急激に有用性が向上すると考えられる。 6.2 連想尻取り対話メカニズム幼児は、大人の会話の中から自分の知識に合致する言葉を捕えて、その会話に割り込もうとすることがある。この時、幼児は精一杯の連想や推論を働かせつつ、自分の知識の中から話題を提供して、大人を自分の話題に引き込もうとする。そして、大人の反応が自分の提供した話題を受けた内容になっている（連想的な意味でのしりとりになっている）とき、話題の引き込みに成功したと判断して、自分の知識を提供することでその話題を継続する。このような対話の中では、聞き間違い等から話が飛躍してしまったりもするが、そのことが、その幼児がいつの間にか身につけていた能力を大人に気付かせるという効果を果たしたり、大人がものごとを考えるためのヒントになったりするということもある。本研究ではこのような連想による対話のキャッチボールを連想しりとり対話と名付け、その対話戦略をロボット対話システムに実装した。

7 生活実証実験とその結果

ユビキタスホームにおける生活実証実験では、先に説明したサービスを中心に、睡眠センサを用いて、心地よい時刻に少しずらすことのできる目覚ましサービスなどを加えたFig. 5 のような環境を準備した。対話ロボットは、各部屋と玄関に一台、合計で 5 台を設置して、それぞれに、ほぼ同一のプログラムを実装したが、部屋ごとに必要と思われる制御機能と、それに伴う会話のみがアクティブになるようにしておいた。生活実証実験では、年代や構成の異なる家族４組に、それぞれ２週間ずつ生活してもらった。生活開始の時点で、上記の各種サービスについての簡単な説明を行い、いつもの日常通りに自然な生活をしてもらうこと、ただし家電機器についてはできるかぎりリモコンは使わずに、対話ロボットとの対話によって操作してもらうよう指示を与えた。２週間の生活実験を終えた後、毎回インタビューを行った。主な結果について以下に示す。全ての生活者が、ロボットが内蔵するカメラで見られるのはいいが、天井カメラは監視されているようで嫌な気がしたという感想を述べた。また、どの 19

(6)

-被験者も、生活開始後の三日間は緊張し、常に姿勢を正すような生活であったが、四日目頃からは、天井カメラも気にならなくなったと答えている。テレビやエアコン、照明をロボット対話で制御することに関しては、音声認識ソフトに認識しやすい喋り方に慣れるまでに、どの被験者も二日ほどを必要としたが、その後は認識率も向上し、リモコンを探す手間がなくなって便利、今後全てのリモコンが、このロボットとの対話に統一されるのなら、少しくらい音声認識率が悪くてもロボット対話の方がよいというような評価が多く聞かれた。睡眠センサによって、睡眠が浅くなるタイミングにあわせて、対話ロボットが声を掛ける目覚ましサービスは、かなり好評で、気持ちよく目覚めることができたという複数人からの報告が得られた。また、玄関で持ち物に付けた RFID を読み取り、お出掛け先別に作成された必要品リストを照合する忘れ物チェックサービスについても、実際に役に立ったという報告があった。但し、現状では RFID リーダの感度が低く、持ち物の入ったバッグをリーダにかざさないといけないことや、読み取りに数十秒を要することには不満が残った。洗濯が終了すると、洗濯機を回した人のいる場所を前述の移動経路履歴や個人識別から特定して、見ているテレビの画面に文字で表示したり、天井のスピーカやロボットのスピーカを使ったりして通知する、家電機器状態通知サービスは、ひとにより評価がわかれたが、これからはこういう機能が増えてくれると助かるという主婦の声は印象的であった。興味深い報告として、「台所のPhyno は、よく話し掛ける私の言うことをよく聞くようになって、リビングのPhyno には、お父さんがよく話し掛けるから、お父さんの言うことをよく聞くようになった」などという発言が見られた。これはリビングに置かれているPhyno は、上から見下ろすような角度になるのに対し、台所のPhyno は、首を前に出すと丁度顔が同じ高さになるような配置であり、人間の側が、その配置関係に合わせて認識されやすい発声をするように練習した結果であると推測されるが、それにも関わらず、生活者はロボットの側が学習したように感じているのであろう。また、三歳児の父親は、その子どもがPhyno はテレビのチャンネル支配をおこなう何者かであるという認識をおこなっているだろうという推測を述べるとともに、お化けや鬼の代替として実体を持った Phyno を使用して、子供に躾をおこなう効果があったと報告した。また、子供が「フィノに何かしてあげて」と親に頼むことがたびたびあったということも報告された。似たようなことは別の家族からも報告があったが、幼児の声の認識率が低いために、横で見ていた親が通訳を買って出た形となっている。そして、それにより、親が子どもの意外な側面を発見したり、家族の対話が促進されたりするという効果が見られた。

8 まとめ

家庭内ユビキタスネットワークと対話型ロボットの協調が、新しい人とロボットのインタラクションを生み出し、それによって従来にない新しいサービスを実現できるという考えを提案した。センサ群からの情報はロボットの状況認識能力を高めることができ、それを活用したコンテクストアウェアなサービスを提供する際に、音声による人との対話とネットワークからの新たな情報の取得を通じて、ロボットの状況説明能力を高めることも可能となる。また、実際に２週間連続して一般の家族に生活してもらうという実証実験を通して得られた知見について報告し、それを通じて、本コンセプトの有用性と今後の可能性を示した。このような試みの先に、人間の意図を汲むことができ、真にヒトと共生できるロボットが見えてくるのではないだろうか。今後も実験を通じて知見を深めるとともに、学際的な取り組みが重要であると考えている。

参考文献

1) C. D. Kidd, et al. "The Aware Home: A Living Laboratory for Ubiquitous Computing Research" In the Proceedings of the Second International Workshop on Cooperative Buildings - CoBuild'99. Position paper, October 1999

2) 森武俊: 生活パターンを覚えて助ける知能住宅-センシングルーム 2005-, ネットワークロボット研究会 NR-TG-1-12, pp.20-24 （2005）. 3) http://www.dh.aist.go.jp 4) 美濃導彦: 「ゆかりプロジェクトの目的と概要--UKARI プロジェクト報告 No.1 --」、情報処理学会第 66 回全国大会、pp5-5 5-8 （2004）. 5) 山崎他：機能協調型基盤ゆかりコアを用いた実生活支援サービス -NICT ユビキタスホームへの展開と実装-, UBI 研究会, No.2004-UBI-6, pp.71-77, 2004. 6) 上田他：アンコンシャス型ロボットとビジブル型ロボットの協調メカニズム --母親・子供メタファ--, HI 学会研究報告集 Vol.6, No.3, pp.57-64, 2004. 7) 土井美和子: 「分散環境行動 DB と場モデルに基づくユビキタスインタフェース設計--UKARI プロジェクト報告 No.3 --」、情報処理学会第 66 回全国大会、 pp5-13 5-16 （2004）. 8) 上田他: ユビキタスホームにおける対話インタフェースロボットの試作, UBI 研究会 , No.2005-UBI-7 （34）, pp.239-246 , 2005. 9) 佐藤，他: MCMC/EM アルゴリズム/MDL を用いた床圧力センサからの複数人物位置追跡，情処研報 CVIM, 150-19 （2005）

10) 松元,他: Network Augmented Multisensor Association Condensation: Condensation の自然な拡張による 3 次元空間内での人物頭部の実時間追跡，情処研報 CVIM 150-20 （2005）

11) 小林他: ユビキタスホームにおけるサービス誘導のための対話戦略の構築, MVE 研究会, Vol.105, No.256, pp.71-76, 2005

12) 土屋誠司他: TV 番組推薦システムの構築とその有効性の検証, 情処研報, HI-117, pp.95/102, 2005

家庭内ユビキタスネットワークと対話型ロボットの協調による 人ロボットインタラクション