共生型空間共有システムに関する研究

全文

(1)共生型空間共有システムに関する研究著者学位授与機関 URL. 川村拓弥 Tohoku University http://hdl.handle.net/10097/00120695.

(2) 平成 26 年度修士学位論文共生型空間共有システムに関する研究. 東北大学大学院情報科学研究科応用情報科学専攻博士課程前期 2 年の課程情報通信ソフトウェア学講座 (菅沼・阿部（亨）研究室). B3IM4014 川村拓弥.

(3) 目次第1章. 序論. 1. 1.1. 本研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 1. 1.2. 本研究の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 2. 1.3. 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 3. 関連研究と課題. 4. 2.1. Mixed Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 4. 2.2. Symbiotic Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 5. 2.3. MVC フレームワーク . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7. MPCS フレームワークの提案. 9. 3.1. 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 9. 3.2. Model: 共生空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11. 3.3. Presenter: 情報反映機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12. 3.4. Controller: 情報取得機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13. 3.5. Space: 共生空間参加空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13. 3.6. MPCS フレームワークの適用方法 . . . . . . . . . . . . . . . . . . . . . . . 14. 第2章. 第3章. 第4章. 4.1. 適用例. 15. シンビオミラーの再設計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15. 4.1.1. 機能要件整理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15. 4.1.2. 構成要素適用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16. 4.1.3. 入出力情報・ネットワーク要求設定. i. . . . . . . . . . . . . . . . . . 16.

(4) 4.2. 第5章. 5.1. 4.1.4. 要素決定. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18. 4.1.5. 設計結果. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21. 鏡型空間共有システムの設計 . . . . . . . . . . . . . . . . . . . . . . . . . 22. 4.2.1. 機能要件整理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22. 4.2.2. 構成要素適用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23. 4.2.3. 入出力情報・ネットワーク要求設定. 4.2.4. 要素決定. 4.2.5. ネットワーク構成変更 . . . . . . . . . . . . . . . . . . . . . . . . . 29. 4.2.6. 設計結果. . . . . . . . . . . . . . . . . . 23. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30. 評価. 31. 公開実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31. 5.1.1. 公開実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31. 5.1.2. 公開実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32. 5.1.3. 公開実験考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34. 5.2. MPCS フレームワークの再利用性 . . . . . . . . . . . . . . . . . . . . . . . 35. 5.3. MPCS フレームワークの汎用性 . . . . . . . . . . . . . . . . . . . . . . . . 39. 5.4 第6章. 5.3.1. 「TWISTER を用いたテレイグジスタンスシステム」の設計 . . . . 39. 5.3.2. 「超鏡（ハイパーミラー）」の設計 . . . . . . . . . . . . . . . . . . 46. 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 結論. 50. 6.1. まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50. 6.2. 今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50. 付録. 51. 謝辞. 53. ii.

(5) 発表論文. 54. 参考文献. 56. iii.

(6) 図目次 2.1. (a)AR，(b)AV，(c)SR の概念比較 . . . . . . . . . . . . . . . . . . . . . . .. 4. 2.2. シンビオミラー . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 6. 2.3. MVC フレームワークの構成 . . . . . . . . . . . . . . . . . . . . . . . . . .. 7. 3.1. MPCS フレームワークに基づく設計方法論 . . . . . . . . . . . . . . . . . .. 9. 3.2. MPCS フレームワークの構成 . . . . . . . . . . . . . . . . . . . . . . . . . 10. 3.3. 共生空間の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12. 4.1. MPCS に基づくシンビオミラーの設計‐構成要素適用 . . . . . . . . . . . . 16. 4.2. MPCS に基づくシンビオミラーの設計‐入出力情報・ネットワーク要求設定 17. 4.3. MPCS に基づくシンビオミラーの設計‐要素決定（第 1 段階） . . . . . . . 18. 4.4. MPCS に基づくシンビオミラーの設計‐要素決定（第 2 段階） . . . . . . . 19. 4.5. MPCS に基づくシンビオミラーの設計‐要素決定（全体図） . . . . . . . . 20. 4.6. MPCS に基づくシンビオミラーの設計‐完成した構成図 . . . . . . . . . . 21. 4.7. 鏡型空間共有システムにおける共生空間のイメージ図 . . . . . . . . . . . . 22. 4.8. MPCS に基づく鏡型空間共有システムの設計‐構成要素適用 . . . . . . . . 23. 4.9. MPCS に基づく鏡型空間共有システムの設計‐入出力情報・ネットワーク要求設定（詳細図） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24. 4.10 MPCS に基づく鏡型空間共有システムの設計‐入出力情報・ネットワーク要求設定（全体図） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25. 4.11 MPCS に基づく鏡型空間共有システムの設計‐要素決定（空間 1,2,3 の P,C,S について） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26. iv.

(7) 4.12 MPCS に基づく鏡型空間共有システムの設計‐要素決定（M について） . . 27 4.13 MPCS に基づく鏡型空間共有システムの設計‐要素決定（仮想空間の P,C について） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28. 4.14 MPCS に基づく鏡型空間共有システムの設計‐要素決定（全体図） . . . . 28 4.15 MPCS に基づく鏡型空間共有システムの設計‐ネットワーク構成変更 . . . 29 4.16 MPCS に基づく鏡型空間共有システムの設計‐完成した構成図 . . . . . . . 30 5.1. 実際のシステム配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31. 5.2. アバタとして参加している様子 . . . . . . . . . . . . . . . . . . . . . . . . 32. 5.3. 他空間のユーザにマスクを重ねている様子 . . . . . . . . . . . . . . . . . . 33. 5.4. たくさんの人がいる共生空間の様子 . . . . . . . . . . . . . . . . . . . . . . 33. 5.5. 共生空間に参加する空間の拡張 . . . . . . . . . . . . . . . . . . . . . . . . 34. 5.6. シンビオミラーから鏡型空間共有システムへ . . . . . . . . . . . . . . . . . 35. 5.7. シンビオミラーの構成図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35. 5.8. 構成要素の追加・削除・変更 . . . . . . . . . . . . . . . . . . . . . . . . . 36. 5.9. 既決定の構成要素から，別の構成要素を変更 (1/2) . . . . . . . . . . . . . . 37. 5.10 既決定の構成要素から，別の構成要素を変更 (2/2) . . . . . . . . . . . . . . 38 5.11 MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐ 構成要素適用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41. 5.12 MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐ 入出力情報設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42. 5.13 MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐ ネットワーク要求設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43. 5.14 MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐ 要素決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44. 5.15 MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐ 完成した構成図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45. v.

(8) 5.16 MPCS フレームワークによる超鏡 . . . . . . . . . . . . . . . . . . . . . . . 46 5.17 MPCS フレームワークによる超鏡（クロマキー版） . . . . . . . . . . . . . 47 5.18 各空間の関係が MPCS の構成図で簡単に表すことが可能 . . . . . . . . . . 48 A. アバタも含めてユーザ全員が一緒に回転している様子 . . . . . . . . . . . . 51. B. 他空間のユーザに蹴りを入れている様子 . . . . . . . . . . . . . . . . . . . 52. C. たくさんの人がいる共生空間の様子（本文中のものとは別） . . . . . . . . 52. vi.

(9) 第1章. 1.1. 序論. 本研究の背景. インターネットを介して遠隔に存在する利用者同士がコミュニケーションを行う「遠隔コミュニケーションシステム」への要請が近年ますます高まっている．例えば，高齢化や核家族化が進行する今日においては，離れた場所に住んでいる家族や親族とのコミュニケーションが，距離的，時間的な制約により困難となっていることから，特に高齢の家族の様体急変を察知して孤独死を防ぐことを目的とした見守り支援システムが求められている．また，少子化や過疎化，コスト削減による，遠隔授業支援システムや遠隔会議システムのニーズも依然存在する．これらような用途から日常会話まで普遍的に用いられている遠隔コミュニケーションシステムとして，Skype や Facetime といったテレビ会議システムが用いられている．しかし，これらのシステムでは，物体や空間を共有し，ある物体を同時に操作したり，物体を介したインタラクションをしたりすることは物理的制約上困難である．そこで，あたかも相手や物体がそこに存在するかのような感覚をユーザに提供する技術である Mixed. Reality (MR) を用いたテレイグジスタンスシステム，テレプレゼンスシステムや空間共有システムの研究が進められている．ここで，空間共有システムとは，空間を共有している（ように見せる）システム全般を指す．空間共有システムとは，自分とは別の空間に存在する相手や物体があたかも自分の空間に存在するかのような感覚を，映像や音声等を用いて各空間にいるユーザに提示するシステムであり，超鏡（ハイパーミラー）[1] や，全周囲裸眼立体ディスプレイを用いたテレイグジスタンスシステム [2] 等が研究されている．. 1.

(10) これらのシステムは，センサ，ネットワーク，表示装置等が連携した，高度な分散システムとして実現されるのが一般的であるが，その設計に着目すると以下の課題が存在する．一つ目は，現実空間，仮想空間のどちらかを中心に考えて設計しているため，空間同士の重ねあわせが困難である点である．何故なら，このように設計されたシステムは，ユーザや物体の挙動の影響が，一つの空間内に限定され，異なる空間のユーザや物体同士が共通の位置情報を持たないためである．二つ目は，システムの設計が非効率になりがちな点である．これは，設計には熟練技術者の知識や経験がしばしば求められる一方で，熟練技術者の専門知識や経験，設計事例の継承や再利用が困難であり，類似したシステムであっても，各々最初から設計される [3]，ということである．これらの課題は，現実・仮想に関わらず空間を同等に扱って，効率的かつ系統的な設計が可能な，再利用性・汎用性を持ったフレームワークが存在しないことに起因する．. 1.2. 本研究の概要. そこで，本研究では，空間を共有しているという感覚をより高める空間共有システムを容易に実現することを目的として，前述した，1) 現実空間，仮想空間のどちらかを中心に考えて設計しているためそれぞれの空間の特性を同時に生かしたアプリケーションの構成が困難である，という点と，2) 類似のシステムでも最初から設計されるなどシステムの設計が非効率となりがちである，という 2 点を課題として挙げ，これらの課題を解決するために，空間共有システムの設計方法論とそのためのフレームワークを提案する．本論文では，提案する設計方法論とフレームワークについて述べた後，提案したフレームワークを様々なシステムに適用し，そのうち一部のシステムについては実装，運用まで行い，その再利用性や汎用性について検証，考察する．. 2.

(11) 1.3. 本論文の構成. 本論文は全 6 章からなる．第 1 章「序論」では，本研究の背景と研究の全体的な概要を示した．第 2 章「関連研究と課題」では，従来の空間共有システムで用いられている技術や設計手法とその課題について述べる．第 3 章「MPCS フレームワークの提案」では，第 2 章で述べた課題を解決するために，新たな設計方法論とそれに用いるフレームワークを提案する．第 4 章「適用例」では，提案した設計方法論に基づいて実際に共生型空間共有システムを設計する．第 5 章「評価」では，第 4 章で実際にシステムの設計を行った結果と，共生型でない空間共有システムに対してフレームワークを適用した結果を元に評価を行う．第 6 章「結論」では，本研究をまとめ，今後の課題について述べる．. 3.

(12) 第2章. 2.1. 関連研究と課題. Mixed Reality. Mixed Reality（MR, 複合現実感）は，相手の空間と仮想物体を共有する技術であり，一般的な空間共有システムによく用いられる．MR は，人や物体を含む現実空間にアバタや仮想物体をオーバレイ表示する Augmented Reality（AR，拡張現実感）と，アバタや仮想物体を含む仮想空間に，現実空間にいる人や物体をオーバレイ表示する Augmented Virtuality （AV，拡張仮装感）の 2 つに分類される．. • Augmented Reality (AR): 現実空間（人，物体を含む）+ アバタ，仮想物体 • Augmented Virtuality (AV): 仮想空間（アバタ，仮想物体を含む）+ 人，物体 AR，AV を用いたシステムの具体例としては，それぞれ [4]，[5] が挙げられる．これら AR，AV では，現実空間や仮想空間のどちらかを中心に考えて設計するため，ユーザや物体の挙動の影響が，図 2.1(a),(b) の太線の □ で表される空間内に限定され（例えば AR においては仮想の時空間自体は存在しない），異なる空間のユーザや物体同士は共通の位置情報を持たない．. . . . . . . . "!# $&%(' .

(13) . 図 2.1: (a)AR，(b)AV，(c)SR の概念比較. 4. .

(14) 2.2. Symbiotic Reality. そこで我々はこれまでに，MR に代わる新たな技術として，Symbiotic Reality（SR, 共生現実感）を提案してきた．この技術は，現実空間とディジタル空間のギャップを埋めることを目的とした「共生コンピューティング」[6] のパーセプチュアルウェアの一部であり，以下の方法で現実空間と仮想空間を重ね合わせる（図 2.1(c)）技術である [7]．. 1. 現実空間と空間の広さや物体の配置を同一にした仮想空間を構築 2. 現実空間の人や物体の動きをセンサにより取得 3. 取得した情報を仮想空間内のアバタや仮想物体に同期 MR のように，現実 [または仮想] 空間を拡張し，仮想 [または現実] 空間の映像をオーバレイ表示する（“+” 記号で表現）のではなく，両空間に存在するユーザ（アバタ）と物体の挙動を同期させ，両空間を重ね合わせる（“×” 記号で表現）ことが特徴である．すなわち，前述の AR や AV のような関係式で表すなら，. • Symbiotic Reality (SR): 現実空間（人，物体を含む）× 仮想空間（アバタ，仮想物体を含む）と表現することが出来る．このような SR 技術を用いた空間共有システムを，共生型空間共有システムと呼ぶ．共生型空間共有システムの例としては，シンビオミラー [8, 9](図 2.2) や，シンビオグラス [10] 等が挙げられる．シンビオミラーとは，ある現実空間と同じ広さ，同じ物体配置の仮想空間上で，ユーザと同期して動くシンビオントと呼ばれるアバタと，他空間からアバタを介して参加するユーザがコミュニケーションするシステムであり，シンビオグラスとは，現実空間が透過して見える HMD 上に，仮想空間上のアバタを重ねて表示し，そのアバタとコミュニケーションするシステムである．なお，そのユーザは仮想空間上ではシンビオントとして参加するため，アバタとして参加するユーザはそのシンビオントとコミュニケーションする形となる．. 5.

(15) . .

(16) . . . 図 2.2: シンビオミラーこれらのシステムは，現実空間のユーザや物体と，仮想空間のアバタと仮想物体が共通の位置情報を持ち，それらの挙動が同期する．こうして MR の課題を解決している一方で，現実空間と空間の広さや物体の配置を同一にした仮想空間上で，アバタを介してインタラクションを行うため，広さや配置が異なる空間を共有できず，アイコンタクト等が困難であるなど利用可能なコミュニケーションが制約される，という課題が存在する．. 6.

(17) 2.3. MVC フレームワーク. 空間共有システムの設計時に用いられることがあるフレームワークとして，MVC フレームワーク [11] が挙げられる．このフレームワークは，分散型またはオブジェクト指向型システムの設計時のフレームワークの代表例として，GUI を持つソフトウェアの設計指針として広く活用されており，以下に挙げる Model，View，Controller の 3 つのモジュールから図 2.3 のように構成される．. • Model: アプリケーションが扱うデータと手続きを表現するモジュール • View: Model のデータをユーザが見るのに適した形で表示するモジュール • Controller: ユーザの入力（イベント）に対して応答し，それを処理するモジュール. . . . .

(18)

(19) . .

(20). .

(21) . 図 2.3: MVC フレームワークの構成このフレームワークを用いたシステムの具体例としては，flexTPS (flexible TelePresence. System)[12] や，spin3D[13] といったシステムが挙げられる．前者は，上下に動く台の上に設置されたビデオカメラを遠隔操作してその場の様子を詳しく見ることが可能なテレプレゼンスシステムであり，カリフォルニア大学サンタバーバラ校の「地震工学シミュレーションのためのネットワーク（NEES）」において用いられている．後者は，「仮想会議室」上で，3D 回転が可能な仮想物体をアバタを介して共有・操作する空間共有システムである．. 7.

(22) このフレームワークの利点は，機能がモジュール化されておりプログラムの見通しがきく点や，モジュール毎に異なるものに置き換えることが容易である点である．また，MVC の構成要素が，空間共有システムにおけるサーバ，表示機能，センサ等の構成要素と親和性が高いため，MVC フレームワークの適用が効果的であると考えられる．一方，User の存在する空間に関しては構成要素に含まれていないことから，空間に存在する User 以外の物体や，その空間の仕様が重要な空間共有システムの設計に適用する際には，十分考慮することが必要である．. 8.

(23) 第 3 章 MPCS フレームワークの提案. 3.1. 概要. 本章では，MVC フレームワークを元に，空間の要素やセンサ等を考慮して拡張した. MPCS フレームワークと，それに基づく共生型空間共有システムの設計方法論を提案する．提案する設計方法論は，図 3.1 ようなウォーターフォール型の流れで設計を行うものである．このうち，太枠で表した「機能要件」から「ネットワーク構成変更」までを，提案する MPCS フレームワークに基づいて設計する．.

(24) . NPO#QSRUTWVYX Z[)\]_â`bScd4bSe fgUh i6jSk#l. !#" $&%')(+*, -. -. <&=+>@?;ABDC EF G H I&JK LM. .0/1&24365879;:. 図 3.1: MPCS フレームワークに基づく設計方法論ここで，MPCS フレームワークの構成を図 3.2 に示す．本フレームワークは以下の 4 つのモジュールからなり，MVC フレームワークに対して，“View” を視覚的な出力以外にも拡張し “Presenter” に置き換える点と，ユーザがいる空間を “Space” という新たなモジュール. 9.

(25) として導入する点が大きく異なる．なお，MVC フレームワークとの差異を太字で示した．. • Model: 空間共有システムが扱うデータと手続きを「共生空間」として表現するモジュール. • Presenter: Model のデータをユーザとその周りの空間に提示または作用するモジュール • Controller: ユーザの入力に対して応答または情報を能動的に取得し，それを処理するモジュール. • Space: 共生空間に参加する空間に存在するものや，仕様，環境を表現するモジュール. . 1243657 @$A 89 7:;7=<4>?'C7 B9 D. $% &(' )* "#. +-,.

(26) . "$#. E$F!<4> 9 FHG G 7 9

(27) I F6JK7=G /0. "$# !. 図 3.2: MPCS フレームワークの構成このフレームワーク及び設計方法論の特徴は，空間共有システムの設計に特化したフレームワークのため，ユーザの周りの空間も表現可能である点，現実空間と仮想空間を同等に扱い，空間毎に設計することから，現実空間，仮想空間のどちらか一方に偏らない設計が容易に可能とする点，そして，機能毎にモジュール化していることで，モジュール毎に異なるものに置き換えることが容易である点である．次に，各モジュールの詳細を述べる．. 10.

(28) 3.2. Model: 共生空間. “Model”(M) は共生空間を表すモジュールである．本フレームワークの中核となる要素として，「共生空間」を以下のように定義する．共生空間：異なる空間のユーザや物体の情報を共有し，それらとのインタラクションによって共生感を強化する論理的な空間ここで，「共生感」を以下のように定義する．共生感：ユーザが違和感なく他空間のユーザや物体の存在を相互にかつ同様に感じる感覚共生空間は，各空間からセンサ等（Controller）により環境やユーザの状況を取得し，各空間に取得した環境やユーザの状況を場所や目的に適したデバイス，表現形式（Presenter）で提示する．. MPCS における “Model” は，MVC における “Model” の役割を，空間として表現したもので，具体的な要素としては，データ集約サーバ，仮想空間サーバなど，各空間を統合して共生するためにデータを集約するものが該当する．. Model の要素例 = { データ集約サーバ，仮想空間サーバ，... } 共生空間の位置付けについては，図 3.3 に示すように，共生型空間共有システム [8, 9, 10] の場合は前述の定義をそのまま適用し（図 3.3 における ° 1 ），共生型でない空間共有システムの場合は Presenter でユーザに提示する映像に映る空間を共生空間とみなして適用す. 2 ）．例えば，関連研究 [1] の場合は，各ユーザに提示される空間はる（図 3.3 における ° ある一方の現実空間であるから，概念図における一方の R の部分を共生空間とみなす．また，関連研究 [2] の場合は，各ユーザに仮想空間の様子が提示されるので，V の部分を共生空間とみなす．ここで，「共生型空間共有システム」を再定義する．SR では，現実空間と仮想空間を重ねあわせた空間共有システムを共生型空間共有システムと呼んでいたが，現実，仮想に. 11.

(29) 関わらず，異なる空間を重ね合わせた，すなわち共生空間が存在する空間共有システムを「共生型空間共有システム」と呼ぶこととする．. • 共生型空間共有システム: 共生空間が存在するシステム – 共生空間: 現実/仮想空間 × 現実/仮想空間（現実空間には人や物体を含み，仮想空間にはアバタや仮想物体を含む．）. , -.. . . *. 687:9 -. 687;9. + +.

(30)

(31) ! "# $%&. /10(2'3'45 -.. . . ! , , -.. . . '( )# <>=@?A1B CED F@GIHKJL. 図 3.3: 共生空間の位置づけ. 3.3. Presenter: 情報反映機能. “Presenter”(P) は，MVC の “View” を視覚以外にも拡張し，共生感を提供する機能に適用したものである．具体的な要素例としては，モニタ，スクリーン，スピーカ，アクチュエータなど，Space にいるユーザに視覚・聴覚・触覚的な提示をするものや，Space にある物体や Space 自体に何らかの作用を与えるものが該当する．. Presenter の要素例 = { モニタ，スクリーン，スピーカ，アクチュエータ，... }. 12.

(32) 3.4. Controller: 情報取得機能. “Controller”(C) は，MVC の “Controller” をセンサ類にも拡張したもので，Space 内の様々な情報を取得する機能に適用したものである．具体的な要素例としては，マウス，キーボード，ビデオカメラ，超音波センサ，距離画像センサなど，Space にいるユーザが操作するものや，Space の情報を取得するセンサ類が該当する．. Controller の要素例 = { マウス，キーボード，ビデオカメラ，超音波センサ，距離画像センサ，... }. 3.5. Space: 共生空間参加空間. “Space”(S) は，MVC の “User” にあたる部分を，User がいる空間全体に拡張し，モジュール化したものである．具体的な要素は大きく，存在，仕様，環境の 3 つに分類される．「存在」はユーザ，アバタ，物体，仮想物体など，動く，もしくは動かせるものの情報，「仕様」は広さ，壁の位置や素材など，システム稼働中に変化しないものやことの情報，そして「環境」は温度，湿度，音，光など，形を持たない情報である．設計時には，対象とする空間にある物体や構成要素のうち，共生空間に参加するために必要なものを要素として当てはめる．. Space の要素例 = { 存在，仕様，環境 } 存在 = { ユーザ，アバタ，物体，仮想物体，... } 仕様 = { 広さ，壁の位置や素材，... } 環境 = { 温度，湿度，音，光，... } また，共生空間へは，複数箇所の現実/仮想空間からの参加を想定しているが，各空間は共生空間の背景となる空間と，それ以外の空間の 2 種類に分けることが可能であり，前者を「ホスト空間（H）」，後者を「ゲスト空間（G）」と呼ぶ．その特性から，ホスト空間の Controller には背景の映像を取得可能なものが必要となる．. 13.

(33) MPCS フレームワークの適用方法. 3.6. 以上のモジュールからなる MPCS フレームワークに基づいて，以下の手順で設計を進める．. 1. システムの要求定義から，機能要件を整理する． 2. 機能要件に現れる構成要素を，図 3.2 で表される MPCS の各要素として当てはめる．この時，Presenter・Controller・Space は（現実/仮想に関わらず）想定される空間毎に当てはめる．. 3. 各モジュール間で受け渡される情報（入出力情報）やネットワーク要求を決定する． 4. 隣接するモジュールの要素と 3. に基づき，既存の設備や予算等を考慮しつつ，各モジュールの要素（機能要件に現れなかった要素や抽象的な要素）を，機能要件を満たすように具体化し，決定する．. 5. 必要に応じて，空間間のネットワーク構成を，実現の容易さ等を考慮して変更する．ここまで設計した後，各要素の詳細な設計を行い，実装，動作テストの段階へ移行する．. 14.

(34) 第4章. 適用例. 本章では，3 章で提案した設計方法論により，実際に以下の 2 種類の共生型空間共有システムを設計する．. 1. 提案した方法論に基づいてシンビオミラーを再設計 2. あらゆる空間から共生空間に参加可能な「鏡型空間共有システム」を同様にして設計. 4.1. シンビオミラーの再設計. 2.2 章で紹介した，図 2.2 のようなシンビオミラーシステムを MPCS フレームワークを用いて再設計する．. 4.1.1. 機能要件整理. このシステムの機能要件は以下のとおりである．. • ある空間（現実空間 1 とする）と同じ広さ，物体の配置の仮想空間を用意 • 空間 1[仮想空間] のスクリーンには仮想空間 [空間 1] の様子を鏡のように表示 • 空間 1 のユーザは，ユーザの動き（位置，向き，ジェスチャ）と同期して動くアバタ（シンビオントと呼ぶ）として参加. • 別の空間（現実空間 2 とする）のユーザは，マウスとキーボードで操作する通常のアバタとして参加. 15.

(35) 構成要素適用. 4.1.2. 機能要件に現れる構成要素を，MPCS フレームワークの各要素として当てはめる（図. 4.1）．この段階では，現実空間 1 と仮想空間の Controller，現実空間 2 の Presenter，そして Model は，機能要件で明確に与えられていないため，未定とする．. 8:9<;>=>? / 0 243 1 5 !#" $&%'(*) +-,-. 6. 5 7.

(36) . / 0 243 1 CD#EGF#D H IKJ>L $&%&'<() +-,M. 6 A#B 1

(37) 1. 5. /10 PA3 <#. N O ; =. Q#R ST U>V. 6 8:9<;>=@ 図 4.1: MPCS に基づくシンビオミラーの設計‐構成要素適用. 4.1.3. 入出力情報・ネットワーク要求設定. 続いて，モジュール間を流れる情報とそれに伴うネットワークの帯域等の要求を決定した時点での構成図を，図 4.2 に示す．ただし，今回の設計では，簡単のため，ネットワーク要求については無視している．. • 現実空間 1 の Space から Controller への入出力情報については，シンビオントを操作するためのユーザの位置や向きの情報とユーザのスケルトンの情報が必要となる．こ. 16.

(38) こで，スケルトン情報は深度情報から得られる．また，スケルトン情報は Controller でジェスチャ情報に加工されて Model に送られる．. • 現実空間 1 においては，Model から Presenter を介して Space に仮想空間の映像が提示される．. • 現実空間 2 においては，現実空間 1 と同様の流れで 3 人称視点の仮想空間の映像が提示される．. • 仮想空間においては，アバタやシンビオントを操作するための情報（現実空間 1 からユーザの状態情報，現実空間 2 からアバタの操作情報）が Model から送られ，Presenter を介してシンビオントを含むアバタに反映される．そしてその映像情報は Controller を介して Model に送られる．. XY. STRU- 13254H63 / ) * +-, SRm;T U VCW f g Z z rz U- o } b ]`f g mrS TU:V:W f g Z U- f g RR !"# $&%(' PRQSTU:VW .

(39)

(40) . PQ S TUVCW f g /. ) * IC, .. JK 5LHM8N5HO PRQSTU:VW l-m;nporq s Z:t mujv ]-w 132543687. / 0. PQSTRU- )E* +-, < =->9@? ACB8D P Q STU:V:W f g PQ ST U:V:W f g &! "# $&%' S TRUV:W[Z \;]Y ^`_a]Cbdcefg Z X . hjiCk U cRef g F5G 4H6. ST[UCSm;T UVCW fg Z 9:; XRY ST U hì:U-k cR effg g Z x y@z {X|~Y }ra U hì:k cRef g. PQ ST UCVW f g. 図 4.2: MPCS に基づくシンビオミラーの設計‐入出力情報・ネットワーク要求設定. 17.

(41) 4.1.4. 要素決定. 決定した入出力情報から図 4.1 の段階で未定であった要素を以下のようにして決定する．以下の図では，赤く示した要素・入出力情報から，太い矢印の先にある太字で示した要素を決定した，ということを表している．. • 第 1 段階（図 4.3） – 現実空間 1 の Space から Controller への入出力情報から，Controller の要素は映像情報と深度情報が同時に取得できる距離画像センサが望ましいとわかる．距離画像センサの中でも，深度情報からスケルトン情報への変換が容易な Kinect[14] を用いることとする．また，ここでは「Kinect」に切り抜き機能まで含めるものとする．. – 仮想空間の Presenter は，Model から各現実空間からの情報を受け取り，Space に存在するアバタ・シンビオントに反映させるものである．すなわち，アバタ操作機能が必要となる．. – 仮想空間の Controller は，Space から仮想空間の映像情報を取得し，Model に受け渡すものである．すなわち，カメラ機能となる．. hi [\]=cd eWf VEXWg ? 9): ;=< [\] Ô` ab j

(42) 4 {m|m} ]="! [ \ ]_^_à

(43) b

(44) j ql ab {m|} ]=~ab #

(45) $

(46) % & ')("*

(47) +, -/.10 YZ

(48) [\]_^` >.

(49)

(50) . YZ[\]Ôàb. @. ?. SUTWVEX. 9R: ;=<. YZ

(51) [\]=cd. I J=KG6L 2 36578 4 MONQP YZ[\]_^_àb YZ[\]_^_àb ')(/*+, -/.0 hi [\]^_`4j kmln oplOqsrt a

(52) bGj > uwvOx ] rt ab

(53) A hi [\4yz] [\]Ôà

(54) bGj

(55) B CE DGF/H 78 {|m} ]=~a

(56) bGj hi [\] u v_x rt ab. 図 4.3: MPCS に基づくシンビオミラーの設計‐要素決定（第 1 段階）. 18.

(57) • 第 2 段階（図 4.4） – Model は，現実空間と同一の広さ，物体配置の仮想空間を容易に構築でき，カメラ機能とアバタ操作機能を容易に実装できるものが求められる．よって，Model の要素としては，仮想物体の形状が自由に作成でき，その物体に貼るテクスチャのインポートが比較的容易で，カメラ機能とアバタ操作機能がある仮想空間生成サーバである OpenSim[15] を用いることに決定する．. – OpenSim の導入に伴い，現実空間 1,2 の Presenter には，OpenSim で構築された仮想空間を表示させるビューワ（OpenSimViewer）が必要となる．また，現実空間 2 の Presenter には上記をユーザに提示する適当な PC のモニタが必要となる．. – OpenSim は，ビューワを経由しないデータの受信が http 通信によって行われるため，現実空間 1 の Controller に http サーバを追加する．. ;; ©;ª ; p^q _a` \]_aà Z UHV WX Z UHV WX . ; ) 6 ¢.

(58) <? i + jk+l 9 *;:= P8QR)S/T ²A ³ > ´)µ ® @1 m6n#o ; ; ¢ ¶ · § ; ; ; ;;) ; ® ¯;° C &¼ D ½E ¾ ¸ ¹B º»; [ FHG1IJ?K FHGNI J?K LNMcO > ©;ª ) ¢ LNM3O > 4

(59) 56 7/88 ¿ §À¦Á"§6· ) ¢ ; Y Y 6 "!#$ % ; ;;) 6; (*+ , -/./0c2 d ©ª ;«¬6;;) 6; ¢ &e ')a &')(*+ , -/.1032 fgNh S/T ® ¯;° ¢ ©;ª ; ± ¦" ; Z UHV r6X " 6" st &#uav#* w#*yx 9 * : ; Y ¡ ¢£¤¦¥§6¨ "!#$ % ;;) 6; z{|a} ~f \^]_a`#b 図 4.4: MPCS に基づくシンビオミラーの設計‐要素決定（第 2 段階）. 19.

(60) このようにして，全てのモジュールの要素を決定する．全体的に見ると，図 4.5 のような構成図となる．太字で示した要素が，新たに決定した要素である．. W X/Y[Z[ U O P RS Q U z * ' &{}|~ | |$, .B0 1 24365 I;J%KMLN 7 8 9;: <= V > ?-@BA6C DFEHG 5 #%$ &(' )* +-,/.0 T

(61) "! OQP n S 1 2. lbm YbZ. OQP RS e f(gB/h ij/k > ? @BA"C DFE"G 5 T B]B] HFH!_^ ` 0bacFd L"N. U oBp qQr/s/bt. T

(62) uvwbxBy a W X/Y[Z\ 図 4.5: MPCS に基づくシンビオミラーの設計‐要素決定（全体図）. 20.

(63) 4.1.5. 設計結果. 以上の設計により，図 4.6 のような構成図が完成する．なお，このシステムではネットワーク構成の変更は不要と考えた．この後は，例えば現実空間 1 の Controller の要素を「Kinect が接続された切り抜き処理を行う PC → http サーバ」に，同じく Presenter の要素を「Viewer がインストールされた PC →プロジェクタ→スクリーン」にするように，各要素を実際のシステム配置に近づけ，詳細な設計に移る．. :. }:~:P¯° KML NPO. T+UWVYXYz R. R. u ( %$vxw m y w w #* :, }:« ~:\\ ª P¬: . h+i VYX. KCL NgO. {|}:~:P¯°. c :dPeWf - .0/21 F GH'I!J 354 _ ,[` {:|}:~: {:|}~: 67 8:9 ± S ;=<5>?2@ ;C<C>?!@ ACBED 1 A5B!D 1 }:~:\\ "#$ %'& ( )+* , '' 'P { | : } ~ \ \ : Q Q

(64) 5!^] }:~¨©\}g~« \_ ',[`\a5 2 I2J ! {|}~: b : }~®xª P ¬: : : R KML j\O ¡'¢¤£g¥¦x§ kl WmYn[:oWMp - . ± } ~« \ {|}:~\\ P g \ ' Q ª P²³ £ ´ µ ¶·¸:¹º»

(65) {:|}:~: \ qr >

(66) s:t ` T+UWVYX[Z 図 4.6: MPCS に基づくシンビオミラーの設計‐完成した構成図. 21.

(67) 4.2. 鏡型空間共有システムの設計. 次に，図 4.7 のような，「共生空間」を鏡を通して見える空間として表現し，共生空間上でコミュニケーションを行う鏡型空間共有システムを設計する．すなわち，他空間のユーザがそのままの姿もしくはシンビオントとして，ある現実空間に集まっているように見えるシステムである．. 4.2.1. 機能要件整理. このシステムの機能要件は以下のとおりである．. • 空間を 3 箇所用意し，広い順に空間 1，空間 2，空間 3 とする． • 各空間のモニタやスクリーンには背景とユーザの姿を鏡のように提示する． • 空間 1 と空間 2 のユーザは，そのままの姿で参加する． • 空間 3 のユーザは，そのままの姿でも，ユーザの動き（位置，ジェスチャ）と同期して動くアバタ（シンビオントと呼ぶ）としても，参加可能とする．. 図 4.7: 鏡型空間共有システムにおける共生空間のイメージ図. 22.

(68) 4.2.2. 構成要素適用. 続いて，機能要件に現れる構成要素を，MPCS フレームワークの各要素として当てはめる（図 4.8）．この段階では，各空間の Controller，仮想空間の Presenter，そして Model は，機能要件で明確に与えられていないため，未定とする．. * 8 9:4 !";#-%' <

(69) . +&,-0. +-,.. . *. 4= !"$#&%' />$

(70) /. +&,B. * !"$#&%' )(

(71) * 1 2436542&7

(72). ?A@&+&,. 図 4.8: MPCS に基づく鏡型空間共有システムの設計‐構成要素適用. 4.2.3. 入出力情報・ネットワーク要求設定. 次に，モジュール間を流れる情報とそれに伴うネットワークの帯域等の要求を決定する．図 4.9 は，空間 1 と仮想空間の部分を代表として抜き出したものである．ただし，今回の設計では，簡単のため，ネットワーク要求については無視している．. • 空間 1，2，3 の Space から Controller への入出力情報については，ホスト空間の場合は空間の映像の情報が，ゲスト空間の場合はそれに加えて切り抜き画像作成のためのユーザの位置情報とユーザのスケルトン情報が必要となる．ここで，スケルト. 23.

(73) ン情報は深度情報から得られる．これらの情報は Controller で加工されて Model に送られる．. • 空間 1，2，3 においては，Model から Presenter を介して Space に共生空間にユーザが集まったように見える合成映像を提示する．. • 仮想空間においては，Model から受信したシンビオントを操作するためのユーザの状態情報が，Presenter で空間中の 3 次元位置情報から映像中の 2 次元位置情報へ変換され，Space に存在するシンビオントに反映される．その映像情報は Controller を介して Model に送られる．. &('()+*+,(-/.10 4 2 3657)48:9<; =?>%@(AB -/./CEDGFIH(J/KGL M NO P Q R%$

(74) ] ]Px yPzl MNONPQ R%$ $

(75) ] ]P %6 Ev% w% N E%l Pzl$ { |}~ _v_

(76) !"#%$. S o?pqW?X rs tXlâàS uvc7dVewf ghiNj]kmVnVe S TVU7WYXZ []\ X_â`VS bc4daef gNhijlk mVnae. 図 4.9: MPCS に基づく鏡型空間共有システムの設計‐入出力情報・ネットワーク要求設定（詳細図）. 24.

(77) 全体としては，図 4.10 のようになる．. _Q` ?@BKab _` ?@QBKab )+*.)+*, ( ?@BECRDFG4H. (?@ABACEDFQGH J3k L [& BKU FeG fhg L BK[sU e4FfhG g iXI3j3JK i3l mI3jX k nQ7oQpq4 r !"$# 8 l mQ!nQ"o$pq4# r &%' IKJ3?AL @BKBAMCENADAFFG GH

(78) I3?JK@QL BABSCRMDNQFFQGG H OP4CED OQPCED. OPCED4BSFQG OQPCEDBKFG _( ` ?Q@BSab TVUXWcYVUE[ BKMN VT UXWZY3UR[ BECEDFG I 3JK?QL @BSBEMCRNADFFG G4H ( ?@I3BEJ3CRL DBKFeG4fhH g 9 /01324065 i3l mjX knQoQ[& 4U pFq4G r !6":# ;$ 3T UXWdY3UR[ BACRDFG O 4 P E C D TVUVWZY3UR[]\A^ FG. IKJ3L B3MNQFG ).*> OPCRD4BKFG <6=.).* 図 4.10: MPCS に基づく鏡型空間共有システムの設計‐入出力情報・ネットワーク要求設定（全体図）. 25.

(79) 4.2.4. 要素決定. 決定した入出力情報から図 4.8 の段階で未定であった要素を以下のようにして決定する．各図中の太い矢印は，要素が何によって決定したかを表している．. • 空間 1，2，3 の Presenter，Controller，Space について（図 4.11）の解説 – 空間 1，2，3 の Space から Controller への入出力情報から，Controller の要素は映像情報と深度情報が同時に取得できる距離画像センサが望ましいとわかる．距離画像センサの中でも，深度情報からスケルトン情報への変換が容易な. Kinect を用いることとする．また，ここでは「Kinect」に切り抜き機能まで含めるものとする．. – Kinect を使用すると，ユーザが手に持った物体と装着した物体も，そのユーザと共に切り抜くことができる．. – 空間 1，2，3 の Space の要素の「広さ」から，広さに応じて各空間の Presenter の要素を決定する．すなわち，広い空間 1 ではスクリーンを，中くらいの広さの空間 2 では通常の PC のモニタを，狭い空間 3 はコンパクトで済むノート PC のモニタを，それぞれ鏡表示で用いることに決定する．.

(80) ! # " $&%( ')+ * , -/. 0

(81) 1 2, 3 4

(82) . . . . . . . 図 4.11: MPCS に基づく鏡型空間共有システムの設計‐要素決定（空間 1,2,3 の P,C,S について）. 26.

(83) • Model について（図 4.12）の解説 – Model の要素は，各空間の Controller から「空間の映像情報」，「シンビオントの映像情報」を受け取ってそれらをまとめて合成し，空間 1，2，3 の Presenter に「合成映像の情報」を受け渡す必要があることから，映像合成サーバを用意する．. # . $ !%&. .

(84)

(85) !". . . #'& $

(86) !".

(87)

(88).

(89)

(90). 図 4.12: MPCS に基づく鏡型空間共有システムの設計‐要素決定（M について）. • 仮想空間の Presenter, Controller について（図 4.13）の解説 – 仮想空間の Presenter は，3 次元の「ユーザの状態情報」を 2 次元の「シンビオント操作情報」に変換して映像中のシンビオントの位置，大きさを変更させ，シンビオントにジェスチャを反映させる．このことから，アバタ操作（数値変換）機能が必要となる．. – 仮想空間の Controller は，Space からのシンビオントの映像情報を取得し，Model に受け渡すアバタ情報取得機能となる．このようにして，全てのモジュールの要素を決定する．全体的に見ると，図 4.14 のような構成図となる．太字で示した要素が，新たに決定した要素である．. 27.

(91) #

(92) $.

(93) !" . . . . .

(94) ). % #'&( ". .

(95) . . 図 4.13: MPCS に基づく鏡型空間共有システムの設計‐要素決定（仮想空間の P,C について）. G 1,2/3]4^6 7W8 :9</= > ?_@NB0C ` %. HNIO &. . ##$ ' ! ".

(96) G 1,2/3a406 798b:9<c= > ?A@,B0C d % K FL ()M*+/-. 0. HI

(97) J &. & P " .h0ijk c ST. & . G 1 2/3546 , 798;:9</= > ?A@,B0C EDF % ()*,+-/. 0 G UWV/XZYV\[ %. HNI\g. e,fNHNI. P/" .9QRS0T. 図 4.14: MPCS に基づく鏡型空間共有システムの設計‐要素決定（全体図）. 28.

(98) 4.2.5. ネットワーク構成変更. 最後に，ネットワーク構成を考える．このシステムでは，シンビオントとして参加するユーザは空間 3 のユーザのみなので，空間 3 の Controller で取得したユーザの状態情報は，シンビオントとして参加する場合は直接仮想空間の Presenter に送っても問題ない．そこで，この部分を図 4.15 のように変更する．こうすることにより，実装が若干容易になる．. E 3_4`6 2 7M8

(99) 9: ;<a=L?1A b &. FLGO. FGIH '. . " ! # N kQNno

(100) hijklNm#no p $+{|

(101) }#~ ' ' PQ" /SRT0UV WX. E 3c416 2 7

(102) 8

(103) 9N: ;<>=@?1A d &. h$ijklNm#no p qrsutrvxw%y z{#|

(104) }#~ FLG^g. E 2 3546 7

(105) 8

(106) 9: ;<>=@?1A CBD &. $ % (.

(107) . J LK )*$,M-N.#/ 1. '. e@fLFLG. )+*,

(108) -./ 01 E [ \]^K & PS" /QYZ WX. 図 4.15: MPCS に基づく鏡型空間共有システムの設計‐ネットワーク構成変更. 29.

(109) 4.2.6. 設計結果. 以上の設計により，図 4.16 のような構成図が完成する．この後は，例えば「Kinect」を「Kinect」と「Kinect が接続された切り抜き処理を行う PC」に分けたり，「スクリーン」を「PC →プロジェクタ→スクリーン」に階層化したりするように，各要素を実際のシステム配置に近づけて詳細な設計に移る．. f"hi F 2 3546 7.8 .9: ;E<^>_@1B ` jOk %

(110) fhi F 2 3546 7.8 .9: ;=<^>R@1B a1 jOk % L IMN(*),+.-/O0 . GAHP. e. & f"hiOjOk"lm.n o#p#qsi# l m. # $ fh"iOjOkl"m.n o#pq#is"lm '. jOk islm ! " f"hiOjOk"l mn o#pqi"l m Nz *#z,yDiOjOkl"m #¡¢¡*"" & & Q,!R0,STU=V WX zN*#z,yDiOjOkl"m e op#qi"l m #N#D$$ ." jOkisl m GHKd bAc_GH jOk il m. fhi# . GIHKJ &. F. 2 3546 7.8 9: = ; ? < A > @ B DCE e jOk % (*),+.-/ 0 1 z{Nz,yi# F. [ \].RM %. zN*#z,y l m Q,!R0,Y=Z WX. egf hi jOk l m.n o#pq#isrt.u v#wx yDz{l m | }~O 図 4.16: MPCS に基づく鏡型空間共有システムの設計‐完成した構成図. 30.

(111) 第5章. 5.1 5.1.1. 評価. 公開実験公開実験概要. MPCS フレームワークに基づき設計したシステムが実際に共生感を提供可能か確認するために，4.2 章で設計した鏡型空間共有システムを実装し，2014 年 10 月に開催された. 2 日間の研究所の一般公開にて，デモンストレーションを行った．図 5.1 は構築したシステムの空間における配置を示したものである．. 図 5.1: 実際のシステム配置本実験では，空間 2 をホスト空間とし，空間 1，3 をゲスト空間と固定した．また，空間 2 への立ち入りは研究室関係者のみとし，空間 3 のユーザは図 5.2 のように必ずアバタで参加することとした．. 31.

(112) 図 5.2: アバタとして参加している様子. 5.1.2. 公開実験結果. 1 日目は一般客が 92 名，学生が 31 名，2 日目は一般客が 75 名，学生が 23 名，総計 221 名がこのシステムを体験した．その結果，多くのユーザが，映像の背景が自空間の背景でないことに気付いた後も，自空間・他空間それぞれにいる他人と違和感なくコミュニケーションがとれることを確認した．例えば，図 5.3 は，空間 1 のユーザが空間 2 のユーザにマスクを重ねている様子である．また，たくさんの人が映っている時（すなわち，たくさんの人が共生空間にいる時），誰がどこの空間にいるのかわからなくなる場面があった（図 5.4）．これらのことから，ユーザに共生感を提供できたと考えられる．なお，ここに挙げた場面以外のデモンストレーションの様子は付録に掲載した．また，2 日目の 10 時から 11 時半頃，一時的に動作が重くなった．これは，空間 1，3 と空間 2 を結ぶネットワーク上で輻輳が発生したことが原因として考えられる．. 32.

(113) 図 5.3: 他空間のユーザにマスクを重ねている様子. 図 5.4: たくさんの人がいる共生空間の様子. 33.

(114) 5.1.3. 公開実験考察. MPCS フレームワークに基づき設計し実装した鏡型空間共有システムをシンビオミラーと比較すると，現実空間，仮想空間の差なしに，広さや配置が異なる空間にも対応し，現実空間同士の間で任意のユーザが共生空間に参加可能でアイコンタクト等が可能であるなど，コミュニケーションの幅が拡大したことが認められた．すなわち，図 5.5 のように，共生空間に参加できる空間を拡張することができたと言える．. . . .

(115). #$ % & ')(+*-"!,-.-/. . . . 0 1324& +')(+*",3.3/. 図 5.5: 共生空間に参加する空間の拡張また，前述のような輻輳等のシステムトラブル発生時においても，MPCS フレームワークに基づいた系統的な設計プロセスにより得られる各種仕様から，原因究明，問題解決が早期に行えることが期待される．具体的には，今回のトラブルに対しては，ネットワークに対する負荷の根本的な改善や，ネットワーク資源枯渇時の動的対応の機能が必要であるという知見を得ることができた．また，これにより，MPCS フレームワークに沿って設計する際，ネットワーク要求を重要視して設計する必要性が明確化した．さらに，「音声もあったほうが良い」という声が複数あったことから，今後音声通信の機能の付加を考えている．このような機能追加の際にも MPCS フレームワークの効果が大いに発揮できると考えられる．. 34.

(116) 5.2. MPCS フレームワークの再利用性. 本章では，MPCS フレームワークに基づいたあるシステムの構成図の一部を変更することで，異なるシステムの設計が容易に可能か検証した．具体的には，4.1 章で再設計したシンビオミラーの構成図を変更して「鏡型空間共有システム」を設計した（図 5.6）．. 図 5.6: シンビオミラーから鏡型空間共有システムへ図 5.7 は，シンビオミラーの構成図であり，図 4.6 と同等のものである．一方，鏡型空間共有システムは，現実空間が 3 つ，仮想空間が 1 つの，計 4 つの空間が必要なため，右上に Presenter，Controller，Space の各モジュールをもう 1 空間分用意する．. ~$ j. H4IKJLKM =.

(117) « $¬ ® ¯ °-± ² | } ~ N ) ³´ µ¶;·0¸;¹& 6 7 £ ) ¤ ¥ ¦ § |}~ *+-,.0/1 243 5 !"$#&%')( ~) |}~$ j ~ |= }&~)N $ j = k lnmOoGQ pDq 8 1 .,-9;: )X YZ-[)Y\] ^_` y)z{ VGW rs tu < : : +3 5 a bKcd e ] fKghi K aKbKcNde ] fKghi ~NN |}~)N ¨ 0©ª0$¡¦§ | } ~ N ) 6 6 £¤)¥0¦)§ ~ ¡~NN |}~) 0 &N> ?0 @A BOCPEGFRQ -- ) ~ ; ¢ £-¤¥0¦§ >)? &@A BDCDEGF H4IJLx S 5 (NTPUDVOW v4w JL ~)& $0 $ 00; k l. 図 5.7: シンビオミラーの構成図. 35.

(118) 次に，鏡型空間共有システムの機能要件から，構成要素の追加，及び削除を行う．機能要件から追加・削除された要素は，図 5.8 において赤太字や赤線で表している．具体的には，追加された空間の Presenter，Controller，Space と，各空間の名前，各空間の Space の要素，空間 1 の Presenter の要素に変更がある．この変更は異なるモジュールの要素にも影響を与える．空間 1 はシンビオミラーではマウスとキーボードによる操作であったが，鏡型空間共有システムではユーザの位置やジェスチャを取得するため，距離画像センサである Kinect に変更する．空間 2 も同様に，. Controller として Kinect を用意する．また，鏡型空間共有システムでは通常のアバタとして参加するユーザ（アバタの視点に立つユーザ）がいないため，仮想空間のスクリーンが不要となる．さらに，仮想空間を用意し現実空間と同一の広さや物体配置にする必要がないため，Model を映像合成サーバとする．この構成要素の変更により，入出力情報も変化し得るが，図が煩雑になるためここでは省略する．. X e g. H>J K LwMNjO P2QR.T>U =@>E 7.

(119) "!$# % &('*)*+. * .¢. . (¡. 8 8. X. 9. F 4GIH2J KL$M(NO P2QSR*T>U =WV2E 7. ,.-0/2123546. :<;>=@?BADC>E. . "". X 8 e D2s 0 g Y Z [\]_â` j hj

(120) b ^ @^ c d5ef P2QSR*T>U =SE 7. g hjik el

(121) m n2o2p2q * 5¦ 8. X {r|w}~|g_ # 5 $. (*5. r y>z. £¥¤** . 図 5.8: 構成要素の追加・削除・変更. 36. 7 hirk elrm nDo0pDqas t f5uwv0x0y2z.

(122) 決定した構成要素はさらに別の構成要素を変更し得る（図 5.9）．この場合，OpenSim サーバから映像合成サーバに置き換えたことにより，専用の Viewer と http サーバが不要になる．また，仮想空間の背景の取得が不要となるので，仮想空間の Controller は，カメラ機能に代わり，シンビオントとして動くアバタの情報取得機能となる．. Y 4 DmFnH C E IJ^LKMEN O0PoQ+SUT = p3B 8. }+~.. 9 . Y C 4EDGF>H IKJLKMEN O0PRQ(SUT =WVXB 8. % 7 : ,.-0/013254 6.

(123) "!#%$ &('()+* Y 4 DqFUH C E IKJLKM

(124) N O0PRQ(SUT = r3B 8. E ^ LK_]` 4a = ?3@3A3B. }.~. 9. ;0<>= ?0@3A>B. 9 9 % 7 Q Z \[ 254]6. Y. s

(125) t+uvUwyxyz {>|. i aEjka5l 8. }+~5. (+}+~. b 65ced0f0g3h. 図 5.9: 既決定の構成要素から，別の構成要素を変更 (1/2). 37.

(126) 最後に，4.2 章で鏡型空間共有システムを最初から設計した場合と同様に，各空間の広さに応じて各 Presenter を決定する．以上の操作により，図 4.16 と同等の構成図が完成する（図 5.10）．. ehfi H. (. 4 2 " 5X9T 6Y:Z8 <;=2> ?@[A C3D \! '. . H 4 2 " 579; 6:8 <;=2> ?@BA C3D FEG '. % & ).

(127) . *%+-,/.021 3. !#"$. H. ( (. 4 2 " 5]9; 63:8 <;=^> ?@BA C3D _! ' I GJ *%+K,.201 !3. ef

(128) g. (. H L $#Ma`!bcd PQ. . RTS2UVS#W '. ehf#l. j/khehf. L $#MKNOP!Q. 図 5.10: 既決定の構成要素から，別の構成要素を変更 (2/2). 38.

(129) 5.3. MPCS フレームワークの汎用性. 本章では，共生型でない空間共有システムに対しても提案した MPCS フレームワークが適用可能かどうかを，以下の 2 通りの方法で検証した．. (1) 「TWISTER を用いたテレイグジスタンスシステム [2]」を MPCS フレームワークを用いて最初から設計. (2) 「超鏡（ハイパーミラー）[1]」を「鏡型空間共有システム」の構成図から変更して設計. 5.3.1. 「TWISTER を用いたテレイグジスタンスシステム」の設計. 機能要件整理このシステムの機能要件は，参考文献中に記述がある．大きく 3 つ，細かく分けると 11 からなるこれらの機能要件を，提案する設計方法論においてもそのまま使って設計することができる．以下の各要件文は，参考文献 [2] からの引用である．. 【1. 視聴覚的な臨場感に関する機能要件】. 1-1 空間が 3 次元映像として提示されること 1-2 水平視野角 200 度以上の映像の提示が可能であること 1-3 参加者の全周囲 360 度に音響の提示が可能であること 1-4 映像の更新レートが 30 fps 以上であること. 39.

(130) 【2. 視線が一致する対面コミュニケーションに関する機能要件】. 2-1 声の相互伝達が可能であること 2-2 表情を含む相手の顔の 3 次元実映像をカメラで取得できること（表情による意思伝達の実現）. 2-3 顔映像取得カメラと相手アバターの空間的位置が一致すること（視線が一致するコミュニケーションの実現）. 【3. サイバースペース内での身体性に関する機能要件】. 3-1 アバターが人と同等な身体部位 (頭, 腕, 手指, 胴, 脚) を有すること 3-2 腕と手指の 3 次元位置姿勢が取得できアバターに反映できること（直感的な身体性の反映）. 3-3 アバターの 2 次元平面上の移動操作が可能であること 3-4 相手アバターの位置姿勢が遅延 120 ms 以内で相互伝達できることなお，引用の都合上，用語の不統一があるが，「アバター」は「アバタ」と，「実空間」は「現実空間」と同じものを指し，「サイバースペース」は「仮想空間」とほぼ同義である．また，引用元の評価実験において仮想空間上で用いられていた「物体（机・コップ）」も，機能要件に含めることとする．. 40.

(131) 構成要素適用機能要件に現れる構成要素を，MPCS フレームワークの各要素として当てはめる（図. 5.11）．各要件から何故その要素を用いることにしたかという理由については参考文献 [2] を参照されたい．また，この段階では，Model は機能要件で明確に与えられていないため，未定とする．. ¥ £¤ A A1 A x ¦§ ¥ £¤l¨© ªa} x ¡+¢+£a¤} ~ x "} _ _ ~ x U} fa; 81 lF8 ; ?" l c ? U /

(132) ,- .JIKL MN O PQ R"SUT V"W $p qr+s+t+u F lA Hl Z "V W "XYZ+[ l a ; 6 1 " $ ! " # ' % & ( f la? A 8" )+*,-."/10 &2 vfw=x yF z;{8|1} \ ] I+K fa; 1 3 &4651&$2871( fF8 8" lF8 ? 8U fc; ' ;" ` ^ la? ' ?U ^ XaYcb dfegah IK 9;:=< >?9A@ B CDFE !HG , iajlk+mn+o I+K fc ; " fa? 8" 図 5.11: MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐構成要素適用. 41.

(133) 入出力情報・ネットワーク要求設定このシステムの情報の流れは，図 5.12 に示す通り，大きく 4 つに分けられる．1 つ目は現実空間の Space から仮想空間の Space までを流れる，アバタの状態に関する情報（青色の矢印）で，姿勢情報・アバタ移動量情報・顔画像情報がある．なお，アバタ移動量の情報は現実空間の Controller の要素であるジョイスティックから発生する．2 つ目は現実空間の Space から Model を介して別の現実空間に送られる音声情報（緑色の矢印）で，3 つ目は仮想空間の Space から現実空間の Space に送られる仮想空間の映像情報（黒色の矢印）である．そして，4 つ目は仮想空間のアバタの位置に応じて現実空間のカメラを動かすために仮想空間の Controller から現実空間の Controller に送られるアバタの位置情報（橙色の矢印）である．. B U n ¹º ¡ ¢$·¸ i 0B w B [ » i ½n¾¿ . $t

(134)

(135) u ] v*w )x i _Y`yn z T !"$#%'& {U| (*)+,-!.0/ %$1 2 %34%$165$& $ ¢ ° ± ¡¢0£ ¥¤ '®¯ U !!U ¦ §¨©ª «¬ 0 \ Z 798*: ;<7='> ?*@BA C + ¡¢£ ¤ ¦ § ¨© ª«¢$¬ ° 0 ± ¤ 9®¯. [. } P ~ i **Bn ¡¢0£ » i ¼$n ¡¢$· ¸. +,-'DBE*F G H I J K LMN OQP 9RBSUTBV WYX DBE ¡ ¢0£ ¤ 9®0¯ ¢° ± . O P $ i jkYl*mBn op i q 9r %9s n U 909¥ . Z RBS^] _YàBb DBE cBdUef*g*hDBE U !9U ² ³´ µ ¶. 図 5.12: MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐入出力情報設定. 42.

(136) これらの入出力情報のうち，ユーザの状態をアバタに反映させ，アバタを含む仮想空間の映像情報がユーザに提示されるまでの部分，すなわち図 5.13 で太線で表した部分は，視覚的な遅延に対する許容時間が 120 ms であるという実験結果から，それ以内に抑える必要がある．. B } P ~ U n i **Bn ³´ ¡ ¢$±² i 0B w B [ ¡¢0£ µ i ¶$n ¡¢$± ² µ i ·n¸¹ [ . $t

(137)

(138) +,-'DBE*F G H I J K LMN OP $i jkYl*mBn u ] v*w )x i _Y`yn z T OQP 9RBSUTBV !"$#%'& op i q 9r %9s n {U| WYX DBE (*)+,-!.0/ %$1 2 %34%$165$& ¡¢0£ ¤ ¬'® ¢$¯° U !! U 909 ¡ ¢0£ ¤ ¥ ¦§¨© ª« ¢ ¯ ° 0 ¬90® \ Z Z RBS^] _YàBb DBE 798*: ;<7='> cBdUef*g*hDBE ?*@BA C + ¡¢£ ¤ U !9 ¥ ¦ §¨ ©ª¢$« ¯ 0 ° ¤ ¬9® º»y¼Y½Y¾ ¿ÀyÁÂ*ÃYÄÅ'Æ9ÇÈYÉ ÊBË i ÌYÍyÎ'Ï Ð'Ñ0Ò9n ÓÔi BUw ;<Õ*Ö9Õ*×YØ BÙ Õ } P ~ wÚ ÕB;ÛÕ*Ö'Õ*×Ø BÙ Õ BUwÚÛn 図 5.13: MPCS に基づく TWISTER を用いたテレイグジスタンスシステムの設計‐ネットワーク要求設定. 43.

(139) 要素決定次に，未決定の要素を決定する．今回は Model だけであるが，仮想空間の Presenter，. Space，Controller の要素から，独自の仮想空間生成サーバであるサイバースペースサーバを使用することとする．特に，宇宙服型のアバタを自由に動かせたり，顔画像埋め込み機能を付加させたいため，独自のものを用意する．また，ヘッドセットマイクで周囲の環境音を取得することも可能であるから，「環境音」も現実空間の Space の要素に含める．今回は，参考文献によると，前の段階で決定したネットワーク要求はこれらの要素を用いて許容範囲に収まっているが，もし収まらなかった場合は，この段階で要素を再決定する．. B ~ N Sl g **Bl ¹º ¡ ¢$·¸ g 0 B u B H ¡¢0£ » g ¼$l H ¡¢$· ¸ Y » g ½l¾¿ Y . $r

(140)