twiwave 汎地球測位システムと社会的ネットワークサービスを連携させた実空間上音声重畳による聴覚型拡張現実感システム

全文

(1)Vol.2010-HCI-138 No.5 2010/5/14. 情報処理学会研究報告 IPSJ SIG Technical Report. 1. はじめに. twiwave 汎地球測位システムと社会的ネットワークサービスを連携させた実空間上音声重畳による聴覚型拡張現実感システム吉江真†. 大石彰誠†. 最近、よく目にし始めた拡張現実感(Augumented Reality:AR)技術を用いた作品や商品．その一つである『HAPPY NEW YEAR '09』は、マーカーを付けられた年賀状をウェブカメラ越しで見ることによって、実際には見えるはずのない干支の動物たちが動き出すというものである．年賀状という紙媒体に 3D アニメーションを付加させることによって、既存のメディアに新規性を持たせたのである．その面白さを体感するにはカメラを通さなければならない．更に、AR 技術を街中で応用したものに『セカイカメラ』というサービスがある．これは携帯電話のカメラを通して、画面内の映像に様々な情報を付加させるものである．これは GPS(Global Positioning System) と連動して、ユーザの位置や向いている方向によって画面中の表示情報が変わり、あたかもそこに存在するような感覚を得る事ができる．しかし、これにもまたカメラが必要になってくる．これに加え画面を注視することも必要であったり、ディスプレイの大きさの差異による可視性の変化など、これら制限のあるカメラ-視覚を使わずにどのようにして仮想世界を体験すればいいか考えた時、視覚と同じ受動的な感覚、聴覚に着目した．聴覚のみならば、視界は遮られることなく、聴きながら別の行動を取ることができる．それに加え、最近話題になっている Twitter にも着目した。Twitter とは、140 文字の文章を投稿(以降、『つぶやき』と呼ぶ)を各ユーザが持つホームページにタイムライン形式で表示する．ホームには、ユーザがそれぞれフォロー(登録)した別のユーザの『つぶやき』もほぼリアルタイムに表示され、チャットのように使われる場合もある．ユーザ数は 2010 年 1 月時点で全世界約 4000 万人存在していると予想されている．. 尼岡利崇†. 本論文は汎地球測位システム(GPS)と社会的ネットワークサービス(SNS)を用いた聴覚による拡張現実感を体感できる情報提供システム(twiwave)を提案する．本システムを使用することで、ユーザーは現在地周辺で過去にSNSに投稿された情報を音声で聞きながら公共スペース内を移動することが可能となる．本システムを従来の拡張現実感と比較すると、音声により情報提供を行うことで文字などの視覚情報を注視する必要がなくなったことから、別の活動をしながらの使用に適しているという利点がある．. twiwave Audible Augmented Reality system combined Global Positioning System with Social Network. 2. 関連研究・関連作品. System. 本章では、関連研究、関連作品を通して本作品 twiwave の新規性について述べる． 2.1 拡張現実感. Makoto Yoshie†. Shosei Oishi†. 拡張現実感とは、仮想環境 (Virtual Environments:VE) や仮想現実 (Virtual Reality:VR)と呼ばれるものの一つであり、仮想世界に没入して実世界が見えなくなる VE 技術とは異なり、実世界上に仮想物体(3DCG など)を重畳させたり、合成させることによってユーザに実世界を見る余裕を与えるものである[1][2].特殊なディスプレイとして HMD(Head Mounted Display)を用いるものも多く、注意を喚起させるものであったり[3][4]、拡張現実感環境を用いた協調作業についての研究も盛んである[5][6].. Toshitaka Amaoka†. We propose the audible augmented reality system called "twiwave", that is combined GPS and SNS. Our system provides SNS data by sound generated by voice synthesis in realtime.It is able to walk the user around by listening posted SNS data around his location.Comparing with previous AR technologies, our system has an advantage of use. †. in public space because the user doesn't have need of gazing at the visual information.. 1. 明星大学情報学部情報学科 Faculty of Information Science Meisei University. ⓒ 2010 Information Processing Society of Japan.

(2) Vol.2010-HCI-138 No.5 2010/5/14. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 2. 図 1. 実際の装着図. 3. 使用技術 / 開発環境. twiwave 概念図. 今回使用した技術、機器構成について詳述する． 2.2 G P S , S N S を活用したサービス及び作品. GPS を利用した作品、サービスは多く存在する[7][8][9].更に、GPS と SNS(Social Networking Service)を連動させたサービスも始まってきており[10]、自分が今いる場所とネットワークを連携させることによって生まれる新たな価値やコミュニケーションについての研究やサービスが増えていくと予想される. 2.3 t w i w a v e の新規性過去の AR 研究には、視覚によって現実を拡張するものがほとんどであり、加えて GPS 衛星より得られた現在地情報と、音声情報によって情報を重畳するシステムは少ない．聴覚による AR システムは幾つか存在するが、音の位置によって注意を喚起するものであったり、カメラによって認識した実世界の物体に関連付けされた音声を流すというもの[11]で、その場で投稿された過去の情報を音声によって提示するシステムではない．過去に起きた出来事の音声を流し続けるもの[12]は存在するが、しかしそれは新たに更新されていく情報ではなく、あらかじめ用意されたデータのみ対応するものである．視覚と聴覚を併用した複合現実感(MR, Mixed Reality)についての研究 [13]も行なわれているが、聴覚のみの拡張現実ではない．さらに、Twitter などの SNS を利用したアプリケーションも多く存在するが、そのほとんどが文字などの視覚情報により提供するものである．以上のように、AR 技術を聴覚情報と GPS 情報によって拡張した点、SNS を GPS と組み合わせ自動音声読み上げにより音声情報でその場所で過去入力された情報を提供する点に本作品に新規性がある．. 計算機は DELL INSPIRON9300 / Intel(R) Pentium(R) M:1.60GHz, RAM:1.00GB を用い、スタンドアロン型 I/O モジュール Arduino Duemilanove w/Atmega328 に GPS USGlobalSat EM-406A を装着し、USB ケーブルを経て緯度経度情報を取得する．本システムにおいて、GPS データ取得ならびにそのデータからの位置情報をスクレイピングするソフトウェアを Processing1.0 で、WebAPI を介した SNS データ取得のソフトウェアは、Adobe FlexBuilder3 により開発した。またテキストの音声化には、フリーウェア『棒読みちゃん』[14]を使用した．サーバサイドスクリプトは、PHP Version 5.2.6-1+lenny4 で開発した．実際に twiwave を装着した写真を図 2 で示す．. 4. t w i w a v e システム構成本章では、本作品の概要を述べ、その後各技術についての詳細を説明する． 4.1 システム概要. 図１は、本作品の概念図である．ネットワーク経由で twiwave の GPS レシーバにより、それを保持したユーザの位置情報を取得する．その位置情報に基づき twitter 上の「つぶやき」を取得する．その取得した「つぶやき」を twiwave のシステムが音声合成読み上げにより文字情報の「つぶやき」を音声情報でユーザに提供する．ユーザは、その場所で文字により入力された過去の「つぶやき」の音声情報を聞きながら移動する．これにより、ユーザは常に現在いる地点における過去の「つぶやき」を聞きながら活動することが出来る．. 2. ⓒ 2010 Information Processing Society of Japan.

(3) Vol.2010-HCI-138 No.5 2010/5/14. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 4. Flash-PHP- API 連携シーケンス. 4.1.1 PHP - API 連携シーケンス. 図 3. GPS データ取得シーケンス. ユーザの現在地を中心とした範囲内にある Twitter 情報が保存された XML を Twitter Search API から取得する．公開されている現在地情報が入った『つぶやき』のみ、XML(以降、TwitterXML)内に表示される． 4.1.2 PHP - Flash 連携シーケンス API から取得した TwitterXML の中にある<entry>には、投稿された文章が置かれている<title>、プロフィール写真の URL が置かれている<link>、投稿者の名前が置かれている<name>、投稿者の Twitter ページの URL が置かれている<uri>、投稿された場所が置かれている<google:location>、<twitter:geo>などが格納されている．本システムでは、<title>項目のみスクレイピングし、Flash 内で用意した配列へと保存する．これに<link>情報を用いると、つぶやいたユーザのプロフィール写真をシステム上に表示させることも可能である． 4.1.3 Flash - 音声再生シーケンス今回、「つぶやき」を音声化するのに『棒読みちゃん』を使用した．これは、任意の文章を読み上げるというフリーウェアである．その機能の中で、クリップボードにある文章を読み上げさせるというものがある．これを用いて、Flash の配列に保存された「つぶやき」を毎 30 秒にクリップボードに保存、文章を音声化させ、再生させている．配列の最後に到達したら、再び GPS 取得シーケンスから始まるようになっている．. 4.1.1 GPS データ取得シーケンス. 図３に GPS データ取得の流れを図示した．twiwave システムに取り付けられた GPS レシーバをによりユーザの位置の検出を行なう．受信された GPS データ NMEA(National Marine Electronics Association)信号を Processing で以下のような文字列から ($GPRMC,050945.00,A,3504.227794,N,13545.810149,E,000.0, 57.1,140302,6.5,W, A*12)というような有効データの北緯と東経のみをスクレイピングし、ローカルフォルダにある XML ファイル(以降、GPSXML)に上書き保存をする． 4.1.2 Flash - PHP 連携シーケンス図４では Flash から API までのデータの流れを図示した．範囲内の『つぶやき』を取得するために『リアルタイム検索』という機能を使う．ローカルフォルダに保存された GPSXML にある緯度経度情報を基に、用意したサーバに置いた PHP と連携させる．PHP は、送られてきた緯度経度情報を http://search.twitter.com/search.atom?geocode=35.64197,-139.408672,10km (http://search.twitter.com/search.atom?geocode=緯度,軽度,半径)のような形にして Twitter Search API にリクエストする．. 3. ⓒ 2010 Information Processing Society of Japan.

(4) Vol.2010-HCI-138 No.5 2010/5/14. 情報処理学会研究報告 IPSJ SIG Technical Report. Blair MacIntyre. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications, Vol. 21, No. 6, pp. 34~47, 2001. 3) 神原誠之, 横矢直和, 竹村治雄:マーカと自然特徴点を併用した広範囲見回し可能なステレオビデオシースルー拡張現実感, TVRSJ Vol.7 No.3, 2002 4) 天目隆平, 神原誠之, 横矢直和:ウェアラブル拡張現実感システムのための注目オブジェクトへの直感的な注釈提示手法, TVRSJ Vol.10 No.3, 2005 5) Kiyoshi Kiyokawa, Mark Billinghurst, Sarah Elizabeth Hayes, Arnab Gupta, Yuki Sannohe, and Hirokazu Kato. Communication Behaviors of Co-located Users in Collaborative AR Interfaces. In Proceedings of the 1st IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 139~148, 2002. 6) Mark Billinghurst, Daniel Belcher, Arnab Gupta, and Kiyoshi Kiyokawa. Communication Behaviors in Colocated Collaborative AR Interfaces. International Journal of Human-Computer Interaction, Vol. 16, No. 3, pp. 395~423, 2003. 7) Google Maps, http://maps.google.co.jp 8) ココ釣りマスター, http://www.so-net.ne.jp/kokotsuri/ 9) Sharelog, http://www.cyber.t.u-tokyo.ac.jp/~dpa/sharelog.html 10) Twitter 対応の携帯向け位置連動型 SNS「loc8r」, http://loc8r.jp/ 11) エイチアイ,聴覚を利用した AR（拡張現実） http://www.hicorp.co.jp/pressroom/for_event/2009/event_090916.html 12) touched echo, http://www.markuskison.de/touched_echo/ 13) 比嘉恭太，西浦敬信，木村朝子，柴田史久，田村秀行立命館大学大学院理工学研究科:視覚・聴覚を併用した複合現実感システムの開発(1)—視覚的 MR と聴覚的 MR の同時提示の実現 —, 日本バーチャルリアリティ学会第 11 回大会論文集, 2006 14) 棒読みちゃん,http://chi.usamimi.info/Program/ Application/BouyomiChan/. 5. 結果および考察本論文では、GPSとSNSを用いて聴覚を利用した拡張現実感システムを提案した．また提案手法に基づき、ノートパソコン、GPSモジュールを用いシステムを制作した．更に、2つの方法で本システムを試用し動作確認を行った．まず、twiwaveを定点に設置し、24時間連続稼働させた．その際、ヘッドフォンに換えスピーカーで音声を出力し、室内に設置し稼働させた．室内のため、GPSは取得できないため緯度経度を直接数値で入力し使用した．大学内研究室で実験を行ったが、朝になると「おはよう」等のつぶやきが増え、日中は、学生による教室移動に関するつぶやき、そして夜になると、「今帰った。」等、その時間に関連した言葉を含むつぶやきを取得し聞くことが出来た。一日を通して使用することにより、本システムが正常に実時間でつぶやきを取得、音声化していることがわかったと共に、このようなつぶやきの変化から、一日の時間経過を感じ取ることが出来た．次に実際にtwiwaveのシステムを実際に図２のように携帯し、 GPSを用いて使用してみた．場所は、本システムがTwitter APIを介してデータ取得を行うため無線LANを必要とすることから、明星大学構内で行った．その結果、ユーザ位置半径4kmの「つぶやき」を実時間の変化によって聴くことが可能であった．このことから本システムは音声により情報を提供することから、別の活動をしながらの情報取得に向き、ディスプレイなどを注視する必要がないことから公共スペースでの使用に適することがわかった．これらの試用を通し、本システムで以下の2点で改善が必要であると考えた．１点目は、ノートパソコンを用いてシステムを構築したため、常に携帯し気軽に使用するのに向かない．2点目は、Twitterからつぶやきを取得するために無線LANを使用したため、無線LANが整い、かつGPS衛星が捕捉できる屋外の両条件での使用に限られる．上記2点の改善点は、本システムをtwiwaveに必要なGPSとWiFi環境が全て整い、且つWiFi環境の他に無線環境として3G回線を有するiPhoneに代表されるスマートフォン上に実装することによって、本格的に家や街などの公共スペースでの運用が可能となる．本提案手法をスマートフォン上に実装することで、一般のユーザが気軽にどこでも使用できるようになる事が予想される．文字通り「つぶやき」は多種多様であり、本システムでも同じ効果が得られた．将来的には、観光やイベント、広告、美術館などでの運用が考えられる．そのような場合、多種多様の「つぶやき」の中から、ユーザにとって有益な情報を得るためにフィルタリングすることが必要となる．. 参考文献 1) Ronald T. Azuma. A Survey of Augmented Reality. In Presence: Teleoperators and Virtual Environments, Vol. 6, No. 4, pp. 355-385,1997 2) Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner, Simon Julier, and. 4. ⓒ 2010 Information Processing Society of Japan.

(5)