極限環境問題のエンタテインメントシステムへの写像による解決

全文

(1)情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2010-EC-18 No.3 2010/12/11. 1. はじめに. 極限環境問題のエンタテインメントシステムへの写像による解決寺. 田. 近年の技術革新により，人々の生活のあらゆる部分にコンピュータシステムが入り込むようになった．特に，モバイルコンピューティング技術やウェアラブルコンピュータ技術の発展は，いつでもどこでもそのとき行っている作業をサポートするシステムの開発を促進しており，マニュアル閲覧システムやテレイグジスタンスシステム，ナビゲーションシステム. 努†1,†2. などさまざまな作業支援システムが提案されている．このようなコンピュータシステムは，一般的な業務支援環境だけでなく，宇宙空間や火災現場，戦闘地，手術現場などミスの許さ. コンピュータシステムは考えうるあらゆる場所で利用されるようになった．特に装着型コンピュータは，一般の仕事や日常生活における利用だけでなく，宇宙環境，火災現場，戦闘地，手術現場などクリティカルな状況での利用が期待されている．このような場所では環境的に厳しいだけでなく，ユーザの精神も極限状態に追い込まれていることが多く，日常的な環境においてシステムテストやユーザビリティテストを行うことが難しい．そこで，本研究では，上記極限環境と同様にユーザに緊張感があり，システムに失敗が許されない環境として，ステージ上等で利用するエンタテインメントシステムに着目する．極限環境システムにおいて必要になる機能を切り出し，エンタテインメントシステムに転写することで，ステージ利用時のトラブルや有用性から，その機能が極限環境システムにおいて有用に働くかどうかを評価できると考える．本稿ではいくつかの例を挙げ，転写の可能性について議論する．. れない極限環境においても利用されるようになりつつあり，極限環境においても有効に働くシステムが求められている．極限環境においては，周辺環境自体が厳しいだけでなく，ユーザの精神も極限状態に追い込まれていることが多く，日常的な環境においてシステムテストやユーザビリティテストを行うことが難しい．例えば，宇宙環境における船外活動のテレイグジスタンスにより支援するシステムを構築することを考えた場合，適当に実験室で環境を作り，テレイグジスタンスによる作業実験を行うような研究が多いが，そこで得られた知見を極限環境にそのまま適用できるとはいえない．また，余計な入力デバイスを持たなくてよいように，ジェスチャ等を用いて入力を行わせる研究も盛んに行われているが，極限環境においては人間の動作も変化してしまう恐れがあり，そのまま使用できないと考えられる．したがって，極限環境に. Solving Problems on Extreme Environments by Mapping into Entertainment Systems. おけるシステムをテストする際には，できるだけその環境に近い実験環境を用意するべきである．本研究では，このようなシステムにおける極限環境に近い場として，ステージ上等で利用. Tsutomu TERADA†1,†2. するエンタテインメントシステムに着目する．ステージで利用されるエンタテインメントシステムは，上記極限環境と同様にユーザに緊張感があり，システムに失敗が許されない環境. Computer systems are widely used in various environments and situations. Especially, wearable computers should be used in extreme environments such as space environements, fire disaster environment, war zone, and surgery. These environments have not only harsh environmental conditions but also extreme psychological conditions. Since it is difficult to prepare such conditions in the laboratory, we focus on the mapping the functions for such extreme conditions into these in entertainment systems, which is also extreme when they are used on stage. In this paper, we show several examples on these mappings, and discuss the possibility of effectiveness in these mappings.. であるといえる．極限環境システムにおいて求められる機能をうまく切り出し，それをエンタテインメントシステムの主要素として取り込めれば，そのエンタテインメントシステムを実際のステージで利用することによって機能テストが行えると考えられる．また，システム開発者にとっても，実験室環境で地味にテストを行うよりも「機能が役に立っている感」が †1 神戸大学大学院工学研究科 Graduate School of Engineering, Kobe University †2 科学技術振興機構さきがけ PRESTO, Japan Science and Technology Agency. 1. ⓒ 2010 Information Processing Society of Japan.

(2) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2010-EC-18 No.3 2010/12/11. 得られ，開発の目標も立てやすいのではないかと考える．もちろん，エンタテインメントシ. 手術での利用にとどまっており，ミスの許されない本番の手術においてシステムが効果的に. ステムへの機能転写を行った際に，問題解決の方向がずれることで正しい機能評価が行えな. 動作するかどうかは明らかでない．. くなる可能性も高い．あくまでひとつの機能評価手法として，本主法を提案するものである．. 戦闘におけるリアルタイム戦略立案システムやフォーメーションの確認システムでは，自. 以下，2 章では極限環境におけるアプリケーション例について述べ，3 章では筆者らの経. 分が戦略通りに動けているかを適切に確認することが必要となる．常時モニタを確認でき. 験をもとに極限環境システムのエンタテインメントシステムへの機能転写の例について説. るわけではないので，指示されたとおりに動くためには情報の提示方法を検討する必要が. 明する．最後に 4 章で本稿をまとめる．. ある．このように，それぞれのアプリケーションは極限的な精神状態でシステムを利用する必要. 2. 極限環境におけるアプリケーション. があるため，その機能がうまく働くかどうかをあらかじめ判断することは困難である．ま. 極限環境におけるシステムの機能例としては下記のようなものが考えられる．. た，このようなシステムはトラブルに応じてシステムをブラッシュアップしていく必要があ. • 宇宙環境において，宇宙服を着て船外作業を行っている際の作業支援システム. るが，なんどもリアルな状況を実験用に用意することは難しい．. • 火災現場に突入する消防士のためのナビゲーションシステム. 筆者らの研究グループでそのような環境をうまく用意できた例としては，鈴鹿 8 時間耐. • 手術現場における，生体モニタリングシステムや手術支援システム. 久ロードレースにおけるピットクルーのための情報提示システム2) がある．このシステム. • 戦闘エリアにおける，フォーメーション確認システムやコミュニケーションシステム，. は 3 年間にわたってシステムを継続的に利用し，情報提示の内容や方式，振動センサの利用. ナビゲーションシステム，戦略立案システム. やシステムの熱対策など極限状況における情報提示の知見を多く得ることができた．一方，. • 雪山や砂漠におけるナビゲーションシステム. システムの構築にかけたコストや人的資源は莫大であり，また協力者を得て実践的な環境を. 筆者は，実際に宇宙服のための作業支援システムの設計に取り組んだ経験があるが，宇宙. 構築することも難しい．. 服は身動きをとることが難しく，視界も狭いため，オペレータとのコミュニケーションをど. 3. 機能転写の例. のようにとり，自分の動作が正しい動作になっているのかを判断することが難しいと想定された．システムのテストは，研究室において遠隔で作業を指示することで行おうとしたが，. 前節で述べたようなシステムにおける各機能をエンタテインメントシステムに転写する. 明らかに宇宙服環境とは異なるため，実際にシステムが役に立つのかどうかは判断しきれな. ことで，その機能がうまく動作するかどうかを検討する．本稿では筆者らがこれまでに実装. かった．. してきたシステムについて説明しながら転写の可能性について議論する．宇宙服環境の着ぐるみ支援システムへの転写. 火災現場におけるシステムとしては，ばらまかれた生体センサや温度センサ等から得られたリアルタイム情報をウェアラブルコンピュータで受信し，生存者の救出や危険察知等に活. 宇宙服は体の動きに制約があり，かつ自分が外見的にどのような状態になっているのかは. 用するシステムに関する研究などが行われている．一方，そのようなシステムでは炎や煙に. 宇宙服内から把握することが困難である．作業者は，作業に適した姿勢をとる必要がある. よって視界が悪くなったり，画面に集中できないなどの理由で重要な情報が受け取れない可. が，その姿勢がとれているのかどうかも判断しづらい．また，周辺に障害物等がある場合も. 能性がある．雪山や砂漠等でも同様に情報受け取るのに十分な精神的余裕をもてるかどうか. 適切に対処する必要があるが，そもそも視界が狭いため対処が困難である．さらに，宇宙服. は明らかでない．. 内に搭載したシステムを操作するためには細かな動きを行う必要がある．. 手術現場においては，さまざまな生体センサの値を見ながら手術を行う必要があるが，両. このような状況に合致する状況として，筆者らは着ぐるみを来ている状況に注目した．着. 手は手術のためふさがっており，ハンズフリーでの情報閲覧および機器操作が求められる． 1). 実際に医療現場において内視鏡手術を支援するシステムを構築した例. ぐるみはものによるが装着している状況では手足の動きが大きく制限され，視界も極めて. では，生体モニタ. 小さい．ステージ上でそのような着ぐるみのショーを行う場合，これらの制限の中で失敗な. や内視鏡映像などを選択的に切り替えるためにフットスイッチを利用しているが，模擬的な. くアクションを行う必要があり，周囲の状況把握および自己状況の把握は必須であるといえ. 2. ⓒ 2010 Information Processing Society of Japan.

(3) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2010-EC-18 No.3 2010/12/11. 極限状況下における情報提示機能の司会支援システムへの転写ユーザへの効率的な情報提示手法に関する研究は多数行われている．筆者らも，ウェアラブルコンピューティング環境における視認性を考慮した情報レイアウト方式5) や，状況に応じてディスプレイを注視可能な時間が異なることを活用した情報提示システム6) などを開発し，成果を挙げてきたが，このようなシステムがクリティカルな状況でも同様に効果を挙げるかどうかは確認していない．例えば，会話内容をリアルタイムに解析して会話を支援する内容を HMD に自動提示するシステム7) では，情報をブラウザに表示して HMD で閲覧させているが，同様の情報を緊張感のある状況である司会進行の支援システム8) の台本表示機能として提示した場合，情報の読み落としが多く，使い物にならなかった．また，図2. 着ぐるみ装着者の視界 (客観映像時). 司会進行の支援システムでは音声認識を用いて現在台本のどこを読んでいるかを検出する機構を備えていたが，実際のステージでは雑音や緊張による司会者の話し方の違いからほとんど正しく認識できなかった．そこで，改良した司会進行支援システムでは，音声認識精度. 図 1 着ぐるみ装着者の演技の様子. が低くても，DP マッチングと台本制約を組み合わせることでトラッキングを高精度に行える．そこで，筆者らの研究グループでは，着ぐるみ装着者が自己状況および周囲の状況を適. る機能を実装した．また，極限環境においても表示が見やすいように画面レイアウトの再設. 切に把握するための着ぐるみ装着者支援システムを開発した3) ．. 計を行った．これらの改良により，ステージ環境においても司会者が現在話すべき内容を常. 提案システムは図 1 に示すような着ぐるみを装着したユーザが，外部カメラやバックカ. に把握できるシステムが構築できた．. メラの映像を切り替えながら常時周辺環境を装着型ディスプレイ (HMD: Head Mounted. ハンズフリー入力機能の DJ システムやダンスシステムへの転写. Display) で閲覧できるようになっており，また図 2 に示すように自分が理想とするポージ. クリティカルな状況におけるシステムにおいても，装着型のセンサ等を用いてユーザの動. ングが出来ているかどうかをポーズ合致率として出力し，正しいポーズをとることを支援す. 作や状況を認識することは適切なサービスを提供するうえで重要な要素の一つである．ユー. る機能をもつ．そのため自己の姿勢矯正や周囲の確認が可能となり，また，センサを用いた. ザの状況を適切に認識することで，トラブルの発生を瞬時に検出して事故を未然に防いだ. ジェスチャ入力等の柔軟な入力を行えるシステムが実現できた．また，プロジェクタを用い. り，ジェスチャなど体の動きに基づく直観的な機器操作を行えるようになる．一般にこのよ. たパフォーマンス支援システム4) では，プロジェクタから投影された映像にパフォーマが. うな状況認識やジェスチャ認識のシステムでは，状況やジェスチャごとにあらかじめ学習. リアルタイムで動作を合わせるようなパフォーマンスを実現するために，どのような情報. データを与えておき，新たにセンサ値が入力されたときにはシステムに蓄積された学習デー. をユーザに提示すべきかを検討している．スムーズな演技を行うためには，HMD を用いて. タと比較することで認識を行う．しかし，一般に緊張環境下では普段通りの行動を行うこと. 客観的な映像をパフォーマに提示することが有効であると示唆される結果が得られており，. が難しく，認識率は低下する．また，このような認識システムは認識精度を 100%にするこ. 周辺状況が限定的にしか得られない状況においてどのような情報を提示すべきかが明らか. とはそもそも不可能であり，クリティカルな機能をジェスチャに割り当てることも難しい．. になりつつある．. 実際に筆者らは，両手に装着した加速度センサを用いてユーザのジェスチャを認識して音. これらの成果に基づくと，宇宙服環境においても周囲状況や自己状況を客観視したカメラ. 量変更や曲変更を行うウェアラブル DJ システム9) や，靴に装着したセンサを用いてダン. 映像をユーザに提示することで，より正確に適切な作業が行えるようになるのではないかと. スステップを認識して音楽を制御するウェアラブルダンシング楽器システム10) などのシス. 考えている．. テムを開発し，ステージにおいて活用してきた．初期の実運用の結果から，やはり本番のステージでは求める精度のジェスチャ認識が行えず，ステージの実行に支障をきたすことと. 3. ⓒ 2010 Information Processing Society of Japan.

(4) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2010-EC-18 No.3 2010/12/11. なった．また，ダンスシステムでは，認識時間の遅れにより動きと音の一体感が得られず，. 片寄晴弘)」を見て格好いいと思い使用させていただいた．ここに記して謝意を表す．. ステージの高揚感を味わえないという結果となった．そこで，ウェアラブル DJ システムで. 参. は，機能間の実行関係やプライオリティの設定を行う機能を実現することで，認識精度がまた，ジェスチャの判別性能を逐次計算し，求められる条件に対して適切なジェスチャ割当てを推薦する機能を実装した．これらの機能により，本番の緊張による誤動作をできるだけ排除したシステムを構築することに成功した．また，ウェアラブルダンシング楽器システムにおいても，即時性を高めるために認識精度が犠牲になっており，多段階の認識を行うことで，認識エラーがあった場合でも自然に音の出力を正しいものに切り替える手法を提案した．この改良を行うことで，緊張感のあるステージにおいても，認識精度の維持を気にすることなく，また即時性の高い音楽出力が行えたため，システムの効果をフルに活用したパフォーマンスが行えた．. 論. 本稿では，簡単に評価することが難しい極限環境におけるシステムの機能を実現する際には，エンタテインメントシステムへと機能転写を行うことでその機能評価が行えるのではないかと考え，いくつかの事例を紹介して議論した．エンタテインメントシステムにおいてブラッシュアップした機能を極限環境におけるシステムに再転写することで，本アプローチの有効性が評価できると思われるが，そのような取組みは今後の課題であり現在は行えていない．エンタテインメントシステムが，未知領域や極限領域に適用すべき先進的な技術のテストの場になることで，これまでに述べたような極限環境におけるシステムの有効性向上が図れるだけでなく，新たな表現を活発に生み出すことにつながると考えられる．そのような時代がやってくれば，IT 技術を活用したエンタテインメントは，最新技術を具体的に見られる場としてより注目を集めることにつながるだろう．. 謝. 文. 献. 1) 五味雄一，森田圭紀，寺田努，東健，塚本昌彦，“内視鏡手術における HMD 利用に関する一考察,” 情報処理学会研究報告 (2008-HCI-130), pp. 75–81 (Nov. 2008)． 2) Tsutomu TERADA, Masakazu MIYAMAE, Yasue KISHINO, Takahito FUKUDA, and Masahiko TSUKAMOTO, “An Event-Driven Wearable Systems for Supporting Pit-Crew and Audiences on Motorbike Races,” iiWAS2008 Special issue in Journal of Mobile Multimedia (JMM), Vol. 5, No. 2, pp. 140–157 (June 2009). 3) 岡崎辰彦，池田惇，寺田努，塚本昌彦，“着ぐるみ装着者支援システム,” エンタテインメントコンピューティング 2010，デモセッション A07，pp. 1–4 (Oct. 2010)． 4) Jun IKEDA, Yoshinari TAKEGAWA, Tsutomu TERADA, and Masahiko TSUKAMOTO, “Evaluation on Performer Support Methods for Interactive Performances Using Projector,” iiWAS2009 Special issue in Journal of Mobile Multimedia (JMM), Vol. 6, No. 3, pp. 207–226 (Sep. 2010). 5) 田中宏平，岸野泰恵，宮前雅一，寺田努，西尾章治郎，“光学式シースルー型 HMD のための読みとりやすさを考慮した情報提示手法,” 情報処理学会論文誌，Vol. 48, No. 4, pp. 1847–1858 (Apr. 2007)． 6) 沖野将司，寺田努，塚本昌彦，義久智樹，“情報爆発社会のための装着型ディスプレイの注視状況に基づく情報提示手法,” 第 70 回情報処理学会全国大会講演論文集, Vol. 5, pp. 3–4 (Mar. 2008)． 7) Nga Viet PHAM, Tsutomu TERADA, Masahiko TSUKAMOTO, and Shojiro NISHIO, “An Information Retrieval System for Supporting Casual Conversation in Wearable Computing Environments,” Proc. of 5th International Workshop on Smart Appliances and Wearable Computing (IWSAWC 2005), pp. 477–483 (June. 2005). 8) 岡田智成，山本哲也，寺田努，塚本昌彦，“ウェアラブル MC システム: 司会進行を支援するウェアラブルシステムの設計と実装,” コンピュータソフトウェア (日本ソフトウェア科学会論文誌) インタラクティブソフトウェア特集 (2010, to appear). 9) Yutaka TOMIBAYASHI, Yoshinari TAKEGAWA, Tsutomu TERADA, Masahiko TSUKAMOTO, “Wearable DJ System: a New Motion-Controlled DJ System,” Proc. of the International Conference on Advances in Computer Entertainment Technology 2009 (ACE 2009) (Oct. 2009). 10) 藤本実，藤田直生，竹川佳成，寺田努，塚本昌彦，“ウェアラブルダンシング演奏システムの設計と実装,” 情報処理学会論文誌，Vol. 50, No. 12, pp. 2900–2909 (Dec. 2009)．. それほど高くならなくても，クリティカルなミスが起こらないようなシステムを開発した．. 4. 結. 考. 辞. 本研究の一部は，科学技術振興機構戦略的創造研究推進事業 (さきがけ) および文部科学省科学研究費補助金基盤研究 (A)(20240009)，特定領域研究 (21013034) によるものである．ここに記して謝意を表す．また，タイトルの「転写」という言葉は科学技術振興機構戦略的創造研究推進事業 CREST「時系列メディアのためのデザイン転写技術の開発 (研究代表者:. 4. ⓒ 2010 Information Processing Society of Japan.

(5)