1
研究概要
相手に自分の意思や希望を伝えるときに必要な要素として,言語情報の他に,身振り,手振り,
表情といったパラ言語情報がある.言語情報により基本的な意味を伝え,パラ言語情報により意 思や希望といった複雑な情報を伝える.
近年,インターネットや携帯電話通信の高速化に伴い,以上のような言葉以外のパラ言語情報 を伝えることが出来る,よりリアルで臨場感のあるコミュニケーションツールが求められるよう になった.本研究ではテレビ電話システムというツールに着目し,より臨場感のあるコミュニケ ーションを行うことが出来るか検討する.
テレビ電話の普及率は未だ低いのが現状である.この原因の1つとして,通常の対面式の会話 と比較して,違和感があり臨場感が欠けているという問題がある.対面式の会話では,話者は自 分のいる空間の全てに自由に意識を向けることが出来るが,従来のテレビ電話はカメラが固定さ れており,ユーザは常にディスプレイに表示されるかぎられた範囲の映像しか見ることが出来な かった.このことが対面式の会話との大きな違いであり,違和感,臨場感の欠如を引き起こす要 因の1つとなっていた.
この問題に対して中嶋研究室の井上は,話者の頭部の向きにカメラの向きが追従し,相手側空 間を見える範囲が制限されることなく自由に見渡すことが出来るメカニズムを考案した.このシ ステムは,ユーザの頭部の動きを 2 つのセンサで検出し,そのデータに従いサーボモータでカメ ラの向きを制御する.ユーザは頭部装着型ディスプレイ HMD(Head Mounted Display)を装着する ことで,相手と実際に会っているかのような感覚で会話をすることが出来る.試作したシステム を評価した結果,従来のテレビ電話と比較してはるかに臨場感のある会話をすることが出来た.
試作システムの評価の結果,幾つかの改善すべき課題が生じた.本研究ではこれらの改題の内,
ユーザの頭部の動きに対するカメラの追従特性の改善,ユーザが見渡し可能な範囲の拡大,広視 野両眼式シースルーHMD の試作の 3 つについて取り組み,更なる臨場感及び使用感の向上を目指 した.1 つ目については,既存のシステムで使用していたアナログジャイロセンサ及び積分回路 の代わりに,より安定で高精度のデジタルジャイロセンサを用いて頭部の向きの検出を行った.
2つ目については,カメラの向きを制御するサーボモータの数を増やし,従来の左右 180°から 左右 360°まで拡大した.3 つ目については,先行研究で使用していた片眼式モノトーンシースル ーHMD の代わりに,ハーフミラーを使用した,より広視野の両眼式フルカラーシースルーHMD の試 作を行った.
改良したシステムを改めて評価した結果,HMD の映像が両眼フルカラーになったことや,ユー ザの見渡し可能な範囲が拡大したことにより,先行研究と比較して更に臨場感が向上した.カメ ラの追従特性が向上しユーザの意に反する動きをすることもなくなったため,よりスムーズに会 話を行うことが出来た.しかし,映像の画質が悪く,アイコンタクトは満足に出来なかった.
今後の課題としては,ミラーの曲率半径や反射率の最適化,調整機能の追加等 HMD の更なる改 良が必要である.また,カメラの高画質化,特殊動作への対応といったよりユーザ志向型のシス テム構成の検討に取り組む.
2
目次
・研究概要・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・1
1. まえがき・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・3 2. 研究背景・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・4
2.1. 現在のテレビ電話 2.2. 問題点
3. 先行研究・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・6 3.1. 先行研究の概要
3.2. 先行研究からの検討課題 3.3. 関連研究
4. 本研究のシステム構成・・・・・・・・・・・・・・・・・・・・・・・・・・・・・13 4.1. 研究目的
4.2. 基本原理・システム構成
5. 試作・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・18 5.1. ドリフトの改善
5.1.1. 先行研究でのアプローチ 5.1.2. 本研究でのアプローチ 5.2. 駆動範囲の拡大
5.3. 広視野シースルーHMDの試作
5.3.1. 従来のシースルーHMD
5.3.2. 試作した広視野光学シースルーHMDの概要
5.4. 評価方法
6. 評価実験・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・36 6.1. 実験方法
6.2. 実験結果 6.3. 考察
7. あとがき・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・41
謝辞・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・42 参考文献・参考URL
付録 プログラム・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・43
3
第1章 まえがき
相手に自分の意思や希望を伝えるときに必要な要素として,言語情報の他に,身振り,手振り,
表情といったパラ言語情報がある.言語情報により基本的な意味を伝え,パラ言語情報により意 思や希望といった複雑な情報を伝える.
近年,インターネットや携帯電話通信の高速化に伴い,以上のような言葉以外のパラ言語情報 を伝えることが出来る,よりリアルで臨場感のあるコミュニケーションツールが求められるよう になった.その1つとしてテレビ電話が挙げられる.テレビ電話はディスプレイのある電話機の ような専用の機器を用いて行う他に,Skype やメッセンジャーのような無料のコミュニケーショ ンツールにおいても付加価値として提供され,個人がテレビ電話を手軽に利用しやすくなった.
しかし,テレビ電話の普及率は未だ低いのが現状である.従来のテレビ電話はカメラが固定され ており,ユーザはディスプレイに表示される限られた範囲の映像しか見ることが出来ないという 問題があった.これにより,テレビ電話による会話は通常の対面式の会話と比較して,違和感が あり臨場感が欠如していた.
この問題に対し,中嶋研究室の井上は,ユーザの頭部の向きにカメラが追従し相手側空間を自 由に見渡すことが出来るというメカニズムを考案した.ユーザの頭部の動きをセンサで検出し,
カメラの向きをその動きに追従させるというものである.ユーザは頭部装着型ディスプレイ HMD(Head Mounted Display)を装着することで,相手と実際に会っているかのような感覚で会話を 行うことが出来る.このシステムを用いて,テレビ電話通信における臨場感の向上を目指した.
その結果,視野範囲の制限という問題が解消されたため,従来のテレビ電話と比較して,はるか に臨場感のある会話を行うことが出来た.
本研究では,以上の先行研究で生じた課題に対して取り組み,システムの高度化を行った.具 体的には,ユーザの頭部の動きに対するカメラの追従特製の向上,ユーザの見渡し可能な範囲の 拡大,より広視野のシースルーHMD の試作を行ない,更なる使用感及び臨場感の向上を目指した.
本論文では,提案されたシステムの基本原理について詳しく述べた後,上記の取り組みについ て,先行研究との比較を交えながら詳述する.そして,改良したシステムを用いて改めて評価実 験を行った結果及び今後の課題について報告する.
4
第2章 研究背景
2.1. 現在のテレビ電話
近年,インターネットや携帯電話通信の高速化に伴い,テレビ電話やビデオ会議を容易に使用 出来るようになった.代表的なテレビ電話の用途としては,両親や友達との会話,遠距離教育,
遠距離会議等が挙げられる.以下にテレビ電話の例を示す.
2.2. 問題点
インターネットや携帯電話といった高速通信インフラが整備されつつある現代では,2.1.節で挙 げたような使用用途に加え,メッセンジャーやSkypeなどのコミュニケーションツールにおいて も付加機能としてテレビ電話が用意され,個人が手軽に利用し易くなった.しかし,テレビ電話 の普及率は未だ高いとは言えないのが現状である[1].この原因の1つとして,相手と実際に対面 して行う会話と比べた時の臨場感の欠如が挙げられる.図2.2.1,図2.2.2.は従来のテレビ電話の 様子を図化したものである.壁によってユーザAとユーザBのいる空間が分けられている.それ ぞれの空間にはカメラが設置されており,A,B はそれぞれ相手側空間のカメラに映る映像を見る ことが出来る.通常のテレビ電話はカメラの向きは相手が指定した向きで固定されており,ユー ザはディスプレイに表示される限られた範囲の映像しか見ることは出来ない.これにより,図に
図2.1.1. 一般的なテレビ電話 図2.1.2. IPテレビ電話
図2.1.3. テレビ電話会議
5
示すようにA,B共に自分のいる空間で生じた事象については把握することが出来るが,相手側空 間のカメラの視野外で生じた事象については把握することは難しい.このように,視野範囲が制 限されているということが対面式の会話との大きな違いであり,テレビ電話での会話に違和感や 臨場感の欠如が生じる要因の1つとなっている.相手に自分が見たい物体をカメラの前まで持っ てきてもらえば見ることは可能だが,これは非常に面倒であり円滑な会話を阻害する要因となる.
しかし,図 2.2.3.に示すように各ユーザがカメラの向きを自由に制御し相手側の全ての空間に 自由に意識を向けることが出来るようになれば,この視野範囲の制限という問題は解消し相手側 空間を自由に見渡すことが可能である.これにより,相手側空間の全ての人,物に対してコミュ ニケーションを取る等,実際の対面式の会話と同等の行為が可能となり,従来のテレビ電話と比 較して遥かに臨場感が向上すると考える.
尚,「臨場感」は図2.2.4に示すように三つの要素に分けられる.1つ目の空間的な要素とは,
立体感,質感,包囲感等で,人間の視覚や触覚等がよりリアルに感じられることである.2 つ目 の時間的な要素は,物の動感や同期している感覚といったものである.最後の身体的な要素は,
自分自身がその場にいるように感じる自己存在感やインタラクティブ感のようなものである.[2]
図 2.2.1. 可視範囲の制限 図 2.2.2. テレビ電話の画面
図 2.2.3. 可視範囲の制限の解消 図 2.2.4. 臨場感の要素
6
第3章 先行研究
3.1. 先行研究の概要
先行研究として以下のような研究がある.
【携帯テレビ電話における臨場感向上の研究】[3]
中嶋研究室の井上は第 2 章で挙げた通常のテレビ電話の問題点を解決するために,図3.1.1.に 示すような話者の頭部の向きにカメラを追従させ,見える映像の範囲が制限されることがなく自 由に相手側空間を見回すことが可能なメカニズムを提案,試作した.これにより,テレビ電話に おいて言語情報だけでなく身振り手振りや表情といったパラ言語情報の充実を図り,臨場感の向 上を目指した.以下に作成されたシステムの外観を示す.
ユーザはセンサが搭載された頭部装着型ディスプレイHMD(Head Mounted Display)を装着す る.ユーザが首を動かすと各種センサによりその動きが検知される.検知データがカメラ側に送 られ,そのデータに従いカメラの向きを制御する.これにより,各ユーザは頭部を動かすことで 相手側の空間を自由に見渡すことが出来た.
カメラに映る範囲には限度があり,正面を向いている時の人間の視野範囲が約 170°であるの に対し,カメラの視野角は50°と格段に狭くなる.カメラの向きを変更することが出来ても,ユ ーザは相手側空間の一部ずつしか見ることが出来ないため,一見,相手側空間の周囲全体を同時 に認識することは難しいと思われる.しかし,次に示す研究で,周囲全体の同時認識は可能であ
図3.1.3. 装着図 図3.1.4. カメラ部
図3.1.1. 提案システムの原理 図3.1.2. センサ回路を装着したHMD
7 ると報告されている.
【制限視野における画像のシーンの理解の研究】[4]
人は視野が制限されている場合でも,視線方向をスキャンすることで頭の中に広域視野のイメ ージが形成されることが知られている.つまり図 3.1.5.に示すように,周囲全体が同時に見えな くても認識は出来ているということが,この研究で示されている.
移動窓法を用いてアニメーションと自然画像を制限視野で見たときにそれらの画像のシーン をどの程度正確に理解できるかが調べられており,結果は次の通りである.
1,視野が狭くなると,正答率は低下する.
2,正答率が低下し始める視野は4°から8°の間である.
3,画像の種類による正答率に大きな差は見られない.
4,正答した時の眼球運動は画像を構成している部分やその背後など全体に視線を動かしてい るが,誤答した時の視線は特定の部分などに限定され,全体をくまなく視線を動かしていない.
5,視野が小さくなれば,初期潜時は長くなり,サッカード運動(1秒間に3回行われる急な 動きと静止の繰り返しの眼球運動)の振幅は小さくなり,滞留時間は長くなっている.
6,画像が変わっても眼球運動の指標には変化が現れない.
以上の検討結果から,ディスプレイの視野は8°程度以上が望ましいことが分かった.
図3.1.5. 制限視野イメージ図
8
3.2. 先行研究からの課題
先行研究では試作したシステムを評価するために次のような実験を行った.
【方法】
離れた 2部屋を使って遠隔で会話を行う.この2部屋にそれぞれカメラを設置し,3本のシー ルドケーブル(音声1,画像2)と6芯(ジャイロパルス,加速度パルス,グラウンドの3芯×2)のリ ボンケーブルを30mずつの長さのものを用意して2部屋を繋ぐ.音声装置は自然な会話が出来る ように音声会議用装置を用いる.
・使用した音声装置
【SoundStation2】
アナログ一般回線,パソコンベースの VoIP 電話などの音声通話機器と接続して使用する会 議用音声装置である.
スピーカーの音量は 94dB まで 10 段階で調整ができ,マイクは約 3mの集音域があるため,
装置から離れた場所でも使用することが可能である.
【評価内容】
双方向通信でユーザが臨場感を感じるか5段階評価でアンケートを取る.また,従来のテレビ 電話とどちらが使いやすいかを比較する.
評価項目:①相手空間の様子あるいは雰囲気は伝わるか?(空間要素)
②映像はスムーズで安定しているか?(時間要素)
③自分が相手の空間に居るような感覚が持てるか?(身体要素)
以上の実験より次の結果が得られた.
型番 PPSS-2_SKYPE サイズ 311mm×368mm×64mm
重量 800g
音量 94dB
集音域 3m 表3.2.1. SoundStation2仕様 図3.2.1. SoundStation2
出典:POLYCOM
図3.2.2. アンケート結果
9 評価の理由としては次のようになる.
通常のテレビ電話と比較した結果は次のようになった.
○良い点
・臨場感があってよい
・視野をコントロール出来るという自由な視点,見回せる点
・’アレ’などがなにかよくわかるので会話がしやすい
・緊張しない(カメラを見ないといけないという意識をしなくていいから)
×悪い点
・見られる側にとって「見られている感じ」がすごい,見られたくない部分も見られてしまう
(部屋を片付けないと使えない)
・メガネが重い,違和感がある,一色だった
・画面の位置の調整が難しい
・画面が近いので終了後,焦点が合わず尐し目に負担がかかったように感じた.
10
以下に先行研究で行った評価実験の結果生じた解決すべき課題をまとめる.
(1) カメラの追随性の向上
先行研究ではユーザの頭部の動きを検知する為にアナログジャイロセンサとアナログ加速 度センサを使用している.これらのセンサにはドリフトという性質がある.これは温度変化 等により静止時のセンサ出力値が徐々に変動してしまうという特性のことである.この静止 時出力値の変動によりカメラの角度がユーザの意思に反して勝手に変化してしまい,ユーザ が見たい範囲を自由に選択できなくなるという問題がある.より臨場感のある会話を行うた めには,カメラの頭部運動に対する追従性を向上させる必要があり,そのためにはドリフト による角度変化を最小限に抑えなければならない.
(2) 可視範囲の拡大
提案されたシステムを用いることで,相手側空間を自由に見渡すことが可能となった.し かし,見渡し可能範囲はサーボモータの仕様により左右180°,上下180°の範囲であり,実 際の対面式の会話と比較するとかなり狭くなる.そこで,左右360°まで見渡すことが可能と なるように可視範囲の拡大を行う必要がある.これにより,振り返り動作が可能になり,対 面式の会話と同等の範囲を見渡すことが出来るようになるので,よりリアルな会話を行うこ とが可能となると考える.
(3) 広視野両眼式シースルーHMDの作成
先行研究で使用した HMD は片眼のみに映像が映し出され,その映像の色は緑色のモノト ーンである.そのため,見える映像の範囲が非常に狭く,また相手側空間が全て同じ緑色に 見えその場の雰囲気が伝わり難いという問題がある.更に,片眼に集中するため,使用後に 目の疲労を感じてしまう.そこで,広視野の両眼式シースルータイプのフルカラーHMDを試 作し,雰囲気の伝わりやすさ,臨場感及び使用感の向上を目指す.また,シースルーにより アイコンタクトを可能にすることで,よりリアルな会話を行うことが出来るかどうかを検討 する.
3.3. 関連研究
人は対話をするときに,相手との目線が一致しないと強い違和感がある.対面コミュニケーシ ョンであるテレビ電話でも全く同じことが言え,テレビ電話の人気が高まらない原因の1つにな っていると考えられる.従来の一般的なテレビ電話はディスプレイの上部に有り,ユーザを撮影 する時はユーザを見下ろす形になる.これにより,ユーザが画面を見ている場合,相手からはユ ーザが下を向いているように見えてしまい,アイコンタクトをとることが出来ない.この問題を 改善するために,以下に示すようなテレビ電話システムが提案された.
11
1. ピンホールカメラを用いたテレビ電話システム[5]
大型スクリーンの背後に小型 CCD カメラを設置し,スクリーンにはカメラのレンズ大の 穴を開ける.相手側空間のカメラの映像をスクリーンにプロジェクターで投影する.ユー ザの視線上にカメラがあるため,ユーザはお互いにアイコンタクトをとることが可能であ
る.図3.3.1.,図3.3.2.に外観及びスクリーンの映像の見え方を示す.
2. グラスビジョンを用いたテレビ電話システム[5]
グラスビジョンとはフォトポリマーという特殊な樹脂でできた透明なフィルムであり,
フィルムは薄い面の中でプリズムのように光を曲げることが出来る.スクリーンを背面か ら見た視界は透明であるため,スクリーンの背後からカメラ撮影が可能である.装置の外 観,構成を図3.3.3.,図3.3.4.に,スクリーンに投影された映像,スクリーン越しに撮影さ れた映像を図3.3.5.,図3.3.6.に示す.
図3.3.1. 装置外観 図3.3.2. スクリーン映像
カメラ
相 手 の 顔 の 位置
プロジェクター グラスビジョン
図3.3.5. 投影映像
図3.3.3. 装置外観 図3.3.4. 装置構成
図3.3.6. スクリーン越しの映像
12 3. 鏡を用いたテレビ電話システム[6]
PCのディスプレイを倒して設置し,上部にハーフミラーを固定する.ハーフミラーの奥 にユーザの目線の高さに合わせてカメラを設置する.ハーフミラーの奥を暗幕で覆い暗く することで,ユーザはディスプレイの反射映像を眺めることが出来,カメラはミラーに穴 を開けることなくユーザを撮影することが可能である.図3.3.7.に概略図を,図3.3.8.に実 際の映像を示す.
以上の研究により,ユーザはテレビ電話においてアイコンタクトをとりながら会話を行うこと が可能となった.しかし,これらはカメラが固定されており,ユーザは限られた範囲の映像しか 見ることが出来ない.
図3.3.7. 概略図 図3.3.8. 反射映像
13
第4章 本研究のシステム構成
4.1. 研究目的
前章で先行研究及び評価実験の結果生じた課題について述べた.本研究では,これらの検討課 題について取り組みシステムの高度化を行い,同時に更なる臨場感及び使用感の向上を目指す.
4.2. 基本原理・システム構成
試作したシステムの概略を図4.2.1.に,その使用方法を図4.2.2.に示す.頭部装着型ディスプレ イHMDを装着した各ユーザがそれぞれ別の空間にいるとする.各HMDには2つのセンサが搭 載されており,これらのセンサによりユーザの頭部の動きを検出し,相手側空間にあるカメラが 固定されたサーボモータを制御する.そしてカメラの映像がお互いのHMD に表示される.これ により,ユーザが頭部を動かすとその動きに追従して眼前の風景映像も変化して見えるため,あ たかも自分が相手と実際に会って会話をしているかのような感覚を得ることが出来る.
システム構成を図 4.2.3.に示す.ユーザの頭部の動きを検出する際,その横の動きはジャイロ センサという角速度を検出するセンサで,縦の動きは加速度センサという加速度を検出するセン サで検出される.カメラはジャイロセンサによる検出データに従い水平方向に駆動するサーボモ ータと加速度センサによる検出データに従い垂直方向に駆動するサーボモータの2種類のモータ 上に固定されている.2 つのセンサによりユーザの頭部の動きが検出され,それらのデータは制 御用のマイクロコンピュータ「Arduino」へ送られる.マイコン内でA/D変換や補正処理といっ た処理が行われ,補正処理後のデータに対応した幅のパルスが出力される.そして各サーボモー タはパルス幅に従い回転する.遠距離で使用する場合はマイコンとサーボモータの間に増幅回路 を挟む.以上のメカニズムにより,ユーザは相手側空間を自由に見渡すことが可能となる.試作 したデバイスの外観,装置構成,全体の回路図を図4.2.4.~図4.2.6.に,各センサ,Arduino,各
図4.2.1. システム概略
サーボ
カメラ
A B
壁
Bの頭部の動き,Aの映像
Aの頭部の動き,Bの映像 HMD
カメラ
垂直サーボ 水平サーボ
図4.2.2. 使用方法
14
サーボモータ,OPアンプ,CCDカメラの仕様について表4.2.1.~表4.2.7.に示す.尚,HMDの 詳細については第5章で述べる.
図4.2.3. システム構成
加速度センサ (垂直方向) ジャイロセンサ
(水平方向)
制御用 マイコン
Arduino
垂直サーボ モータ
水平サーボ モータ 遠距離用
増幅回路
センサ回路
中継回路
Arduino
遠距離用増幅回路 カメラ+サーボ HMD
図4.2.4. 装置構成
15
図4.2.5. 回路図
16
型名 CRM200
種類 3軸デジタルジャイロセンサ 写真
電源電圧 2.7 ~ 3.6V 測定範囲 ±75°/s ±150°/s
±300°/s ±900°/s 感度 96LSB/°/s for ±75°/s
48LSB/°/s for ±150°/s 24LSB/°/s for ±300°/s 8LSB/°/s for ±900°/s 動作温度 -40 ~ +85℃
サイズ 6.3×5.5×2.7mm
型名 KXM52-1050
種類 3軸加速度センサ 写真
電源電圧 2.7 ~ 5.5V 測定範囲 ±2g
感度 660mV/g
動作温度 -40 ~ +85℃
サイズ 5.0×5.0×1.8mm
型名 Arduino UNO SRAM 2KB
種類 マイクロコンピュータ EEPROM 1KB
写真 クロック 16MHz
動作電圧 5V
入力電圧 7 ~ 12V デジタルI/O 14ピン アナログ入力 6ピン フラッシュメモリ 32KB
表4.2.1. ジャイロセンサ 表4.2.2. 加速度センサ
表4.2.3. Arduino
17
型名 RB995
種類 サーボモータ 写真
電源電圧 4.8 ~ 6.0V
トルク 8.5 kg・cm(4.8V)
10.5kg・cm(6V)
速度 0.20s/60°(4.8V)
0.19s/60°(6V) 動作範囲 ±85°
サイズ 40.6×19.8×37.8mm
型名 RB303c
種類 サーボモータ 写真
電源電圧 4.8 ~ 6.0V
トルク 5.2 kg・cm(4.8V)
6.5kg・cm(6V)
速度 0.20s/60°(4.8V)
0.16s/60°(6V) 動作範囲 ±90°
サイズ 40×20×38 mm
型名 LMC662
種類 デュアルOPアンプ 写真
動作範囲 +5~+15 V 出力範囲 フルスイング 電圧利得 126 dB
入力offset電圧 3 mV
ドリフト 1.3 μV/℃
型名 MTV-50KON
種類 CCDカメラ 写真
有効画素 26万画素 水平解像度 350本
レンズ 3.6mm/F2.0/68°
ビデオ出力 NTSC
電源 12V±1V
表4.2.4. サーボモータ1 表4.2.5. サーボモータ2
表4.2.6. OPアンプ 表4.2.7. CCDカメラ
18
第5章 試作
第4章では,本研究の基本原理及びシステム構成について述べた.本章では先行研究で行った 評価実験の結果生じた課題への取り組み及びシステムの高度化について,先行研究との比較を行 いながら述べる.
5.1. ドリフトの改善
本システムで使用しているジャイロセンサにはドリフトという特性がある.これは,センサの 静止時出力値が温度変化等の原因により徐々に変動してしまうという性質のことである.本シス テムを構築するに当たり,ジャイロセンサの使用時に最もドリフトの影響が大きくなる.図5.1.1.
にドリフトの影響を図示する.ジャイロセンサの出力値は角速度であり,本システムでは頭部を 動かした時の角速度値を積分して角度に変換し,その角度値に従いサーボモータを制御するとい う方法を採っている.この方法により,カメラの向きはユーザの頭部の動きに追従するが,頭部 を静止させていてもドリフトによりセンサ出力値が変動してしまうため,その変動分が積分され 角度値が変化しユーザの意に反してカメラの向きが勝手に変わってしまうという問題が生じる.
これにより,ユーザは映像範囲の自由な選択が難しくなり,本研究が目指す臨場感のある会話が 不可能となるため,改良が必要である.
5.1.1. 先行研究でのアプローチ
先行研究で使用していたジャイロセンサはLISY300ALというアナログ出力センサである.(表
5.1.1.1.)このセンサでは出力角速度を角度に変換するためには OP アンプを利用した積分回路を
使用する.積分回路とは OP アンプの+入力端子と-入力端子の電位差を積分して出力するアナ ログ増幅回路のことである.この回路を使用した場合のドリフトによる角度変化の仕組みを図
5.1.1.1.に示す.先行研究では,ジャイロセンサ出力はOPアンプの-入力端子に入力される.最
初両方の入力端子の電位は等しいとする.ジャイロセンサを回転させると-入力端子の電位が変 化するため,両入力端子の電位に差が生じ,この差が積分されることで出力角度が変化する.頭
ジャイロセンサ 出力:角速度
積分 出力:角度
角度に従い サーボ制御
ドリフトによる出力値変動 角度値変化
図5.1.1. ドリフトによる角度変化
19
部を静止させていても,ドリフトにより静止時のセンサ出力が変動するため-入力端子の電位が 変化し両入力端子の電位に差が生じるため,同じ角度を維持することが出来ない.
そこで先行研究では,図5.1.1.2.に示すような工夫を行った.OPアンプの+入力端子に可変抵 抗を接続し,+入力端子の電位をマニュアルで変化させることが出来るようにした.この工夫に より,ドリフトにより-入力端子の電位が変化し両入力端子の電位に差が生じても,可変抵抗の ツマミを回すことで+入力端子の電位を-入力端子の電位に一致させ電位差を解消することが出 来た.しかし,会話中十数秒程度に1回,可変抵抗を再調整しなければならないという問題があ った.
型名 LISY300AL
種類 1軸ジャイロセンサ 写真
電源電圧 2.7~3.6 V 測定範囲 ±300°/s
感度 3.3 mV/ °/s
動作温度 -40~+85℃
サイズ 7×7×1.5mm
図5.1.1.1. 積分回路上でのドリフトによる角度変化
表5.1.1.1. 先行研究で使用したジャイロセンサ
ジャイロ
センサ -
+
マイコン サーボ ドリフトにより出力変動
電位に差が発生
角度変化
OPアンプ
20
5.1.2. 本研究でのアプローチ
先行研究ではアナログジャイロセンサを使用し,積分回路を改良することでドリフト問題の改 善を図った.しかし,この方法には十数秒ごとにユーザが可変抵抗を再調整しなければならない という円滑な会話を阻害する問題があった.そこで本研究ではより安定で高精度なデジタルジャ イロセンサCRM200の使用を検討した(仕様については第4章参照).積分回路等のハードウエア を使用せず,ソフトウエアでの積分を行い,ユーザの手を煩わせることのないシステム構成を目 指した.
先行研究で使用していたLISY300ALはA/D変換によりマイコンにデータを取り込んでいたが,
CRM200はSPI(Serial Peripheral Interface)通信により直接角速度のデジタルデータをマイコン
に取り込む.以下,SPI通信について簡単に説明する.SPI 通信とはモトローラ社が提唱した,
マイコン同士やマイコン-デバイス間の通信で使用される同期式全二重シリアル通信を指す.通信 を行う2つの機器にはMaster設定とSlave設定が割り当てられ,Masterが送受信信号の制御を
行う.図5.1.2.1.にSPI通信の接続図を示す.
本研究ではマイコンArduinoがMaster,ジャイロセンサCRM200がSlaveとする.Master とSlaveは4本の信号線,SCLK(Serial Clock),MISO(Master-In Slave-Out),MOSI(Master-Out
Slave-In),SS(Slave Select)で接続される.SSにより伝送開始の同期をとり,MOSI,MISOに
可変抵抗
図5.1.1.2. 可変抵抗の挿入
図5.1.2.1.接続図(出典:SPI-Wikipedia)
21
より Master が制御するクロックに従い双方のシフトレジスタデータを交換し通信を行う.この
SPI通信により,一定周期の元,Arduinoから検出データ送信命令をCRM200に,CRM200か ら検出データをArduinoへ送り,ジャイロセンサの検出データの取得を行う.
以上,SPI 通信について述べた.次に本研究でのドリフト問題への取り組みについて述べる.
CRM200を使用するに当たり,まずドリフトの有無を確認した.30分間静止時出力を計測した結
果を図5.1.2.2.に示す.計測は室内で行った.測定レンジは150°/sであり,近隣15個の取得デ
ータに対して平均化処理を行っている.
30分間の計測の結果,ドリフトは目に見える範囲では殆ど存在しないことが分かった.次に取 得した角速度値を時間積分して角度で評価した.積分には図5.1.2.3.に示すような台形公式を使用 した,より精度の高い方法を採用した.一般的な積分の手法としては,取得した値にサンプリン グ周期を掛けてその値を加算していく長方形型の方法がある.しかし,この手法は図に示すよう に誤差が蓄積されてしまうため,より高い精度を求める場合は適切ではない.台形の面積を求め る公式,即ち「(上底+下底)×高さ÷2」,を使用した積分ならば,長方形型のように誤差が蓄積 することがなく,より精度よく角度を算出することが可能である.
図5.1.2.2. 30分間の静止時出力計測結果
図5.1.2.3. 積分方式の比較
角度
角速度
D1
D2
D3
D4
dt dt dt dt
橙:真の値 赤:誤差
・長方形型(赤+橙)
角度 = D1×dt + D2×dt + D3×dt + D4×dt・・・
・台形型(橙)
角度 = D1×dt / 2 + ( D1 + D2 )×dt / 2 + ( D2 + D3 )×dt / 2 + ( D3 + D4 )×dt / 2・・・
22
上記の台形公式を用い,実際に角度を算出した結果を図5.1.2.4.に示す.図は109°の位置まで センサを回転させ,その状態で10分間静止させ,角度値がどのように変化するかを観察したグラ フである.観測の結果,10分の間に算出角度値が109°から114°の5°変化した.この変化の 原因としては,先ほど述べた目に見えない程度のドリフトが蓄積したことによると考えられる.
また,CRM200には非対称性という性質がある.これは左右の回転方向によって出力される角 速度値の変化の仕方が異なるという特性のことである.実際にその様子を観測したのが図5.1.2.5.
に示すグラフである.前方中央を0°とし,0°の向きと120°の向きに目印を付け,0°~120°
間でセンサ左右に回転させた.その結果,徐々に 0°の向きと 120°の向きがずれて来ているの が分かる.回転方向に関係なく同じ積分の式を使用しているためこのような結果となった.そこ
で,図5.1.2.6.に示すような工夫を取り入れた.回転方向によって積分の式の係数を微妙に変化さ
せることも考えたが,この方法は微調整が難しいため,比較的簡単な方法を用いた.センサの向 きが前方中央付近(0°±4°)にあり,且つ静止している場合は,積分結果を強制的に0°にしてし まうという方法である.非対称性によりセンサを回転させその後中央にセンサの向きを戻すと前 方中央での角度値が 0°から変化してしまうが,この積分リセット方式を用いることでこのずれ を解消し,常に前方中央を0°に保つことが可能となる.積分リセットを適用した結果を図5.1.2.7.
に示す.また,この積分リセット方式により,前述したドリフトによる角度変化についても対応 が可能である.センサを回転させ前方中央以外で静止していた場合,ドリフトにより角度が変化 してしまいその状態でセンサの向きを前方中央に戻すと前方中央での角度値もドリフトで変化し
た分 0°からずれてしまうが,積分リセット方式によりこれを修正することが出来る.以上の工
夫を取り入れ10分間角度変化を観察したのが図5.1.2.8.に示すグラフである.このグラフより静 止時の角度はほぼ一定に保たれ,前方中央も0°を保つことが出来ていることが分かる.
図5.1.2.4.角度変化の様子
図5.1.2.5. 非対称性による角度変化
23
図5.1.2.6. 積分リセット方式
図5.1.2.7. 非対称性による角度変化の解消
図5.1.2.8. 最終結果 角度算出
角度が 0°±4°以内 且つ角速度が 0°/s 付近か
角度を0°に YES
角速度取得
角度出力 (20ms周期) NO
24
5.2. 駆動範囲の拡大
本システムでは,センサで検出した頭部の動きのデータに従いサーボモータを制御することで カメラの向きを頭部の動きに追従させる.先行研究で試作されたシステムでは,水平方向のカメ ラ方向制御にはサーボモータを1つ使用していた.その駆動範囲は±90°程度であるため,ユー ザが本システムを用いて見渡すことが可能な範囲は実際の対面式の会話と比較するとかなり狭い 範囲であった.本システムを用いてよりリアルで臨場感のある会話を行うためには,見渡し可能 な範囲を対面式の会話と同等の範囲,即ち左右 360°まで近づけることが必要であると考えた.
そのため,先行研究のシステムに改良を加え,サーボモータの駆動範囲拡大を行った.
駆動範囲の拡大のための具体的な方法とは,水平方向のサーボモータの数を2つに増やすとい うものである.図5.2.1.,図5.2.2.に概略及び改良後の外観を示す.まず,2つのサーボモータを 接着した.次にセンサの向きとサーボモータの角度の対応を変更した.従来はセンサが90°回転 するとサーボモータも 90°回転していたが,この対応を変更し,センサが 90°回転するとサー ボモータの角度は45°回転するようにした.また,同じデータが2つのサーボモータに同時に出 力されるようにした.2つのサーボモータは接着されているため,ユーザが右を向く,即ちセン
サが90°回転すると,サーボモータ1が上部に接着されたサーボモータ2を45°回転させ,サ
ーボモータ 2 が上部に固定されたカメラと垂直サーボを 45°回転させる.つまり,カメラ部は
90°回転したこととなる.同様に,ユーザが真後ろを向く,即ちセンサを 180°回転させると,
サーボモータ1により上部のサーボモータ2が90°回転し,サーボモータ2により上部のカメラ
部が90°回転するため,合計でカメラ部は180°回転したこととなる.この仕組みにより,ユー
ザは従来の倍の範囲,即ち水平360°を見渡すことが可能となった.
図5.2.1. 駆動範囲の拡大略図
サーボ1 サーボ2
水平180°回転
水平180°回転
カメラ+垂直サーボ
水平360°
回転
図5.2.2. 外観 垂直 サーボ
水平 サーボ2 水平
サーボ1
25
以下に,改良後のシステムの動作フローチャートを示す.SPI 通信の過程は割愛する.ソース コードは付録に添付する.
図5.2.3. 動作フローチャート
近隣取得データ15個 に 対 し て 平 均 化 処 理,平均値出力
取得データ10個に対 して平均化処理,平 均値出力
出力から静止時出力 の平均値を差し引く
差分データ及び過去 値に対して台形公式 を適用し,角度算出 ジャイロセンサ出力値取得 (SPI通信,レンジ:150°/s)
ジャイロセンサ過去値格 納変数用意(初期値:0)
出力平均値を過去値 格納変数に格納
角度値が 0°±4°
以 内 且 つ 静 止 時 出 力平均が0°/s近辺
角度を0°に
角度値をサーボ パルス幅に換算
パルス出力 (20ms周期)
YES
NO
加速度値をサーボ パルス幅に換算
加速度出力値取得 (A/D変換)
26
5.3. 広視野シースルーHMD の試作
本システムを用いて会話を行う場合,HMDの性能が大きく影響する.HMDの性能次第で会話 の質が大きく異なるからである.使用するHMDは究極的には実際に目で見ているのと遜色のな く感じるような性能を持ったものが望ましい.しかし,現状の技術ではそのようなHMDの実現 は難しい.特に,日常会話等に用いるには小型のポータブルなもので,且つ眼鏡のような自然な 外観のものが求められるため,高性能を追及するのは一層難しくなる.
5.3.1. 従来のシースルーHMD
近年では,ディスプレイが透明で相手とアイコンタクトをとることが可能な光学シースルー HMD が登場するようになった.本研究ではこのアイコンタクトを重視している.アイコンタク トにより,現在話している内容に対して相手は興味を持っているか,相手はどんなものに興味が あるのか,逆に相手は何を嫌悪しているのか等,相手の興味対象等を把握することが可能となる.
以下,シースルーHMDを2つ紹介する.
1. コニカミノルタHMD(図5.3.1.,図5.3.2.) コニカミノルタ社のシースルーHMD.
図5.3.1. 外観
図5.3.2. 映像の見え方
先行研究でも使用されていたHMDである.
外観は眼鏡に近く非常に自然な形であるが,見 える映像の範囲が狭く,映像も緑のモノトーン であるため,相手側空間の雰囲気は伝わり難い.
また,片目に集中するため,使用後に目の疲労 を感じてしまう.
特徴
-片眼式シースルータイプ -映像は緑のモノトーン -水平画角16°
-外部入力可
27 2. MOVERIO BT-100(図5.3.3.,図5.3.4.)[7]
EPSON社のシースルーHMD.
以上2つのシースルーHMDについて紹介した.本システムで使用するに当たり,2つのHMD 共通の欠点として挙げられる要素は「画角」が狭いということである.そこで,本研究では広視 野且つアイコンタクトが可能な両眼式シースルーHMDの試作を行った.次節より試作したHMD の原理及び仕様について述べる.
図5.3.3. 外観
図5.3.4. 映像の見え方
特徴
-両眼式シースルータイプ -映像はフルカラー -水平画角23°
-Android OS搭載
-外部入力不可(ストリーミング再生は可能)
フルカラーの両眼式シースルータイプで画角 もやや広くなり,相手側空間の雰囲気は伝わり やすくなった.シェードが付属品として添付さ れており,場合によって使い分けが可能である.
外部入力端子が存在しないため,外部機器から 映像を出力するにはネットワークに接続し,ス トリーミング再生を行う.しかし,これにより 映像に遅延が生じてしまい,臨場感を阻害する 要因となっている.
28
5.3.2. 試作した広視野光学シースルーHMD の概要
1. 試作1号(平面反射型)
図5.3.1.1.に概略図を,図5.3.1.2.に外観を示す.基本は眼鏡の形状をしている.カメラの
映像が眼鏡上部にある2つのLCDに表示され,その映像をハーフミラーで反射する.ハーフ ミラーとは入射する光の一部を反射し,一部を透過するミラーのことであり,本研究では適 当な大きさに切った厚さ1mmのアクリル板にフィルムを貼付しハーフミラーとして使用し ている(図5.3.1.3.).尚,アクリル板は厚みがあるとゴーストが発生してしまい反射映像がぶ れて見えてしまうため,なるべく薄いものが望ましい.また,ハーフミラーで反射させる場 合,映像が左右反転してしまうため,LCDに表示する映像を前以て反転させておく必要があ る.本研究で使用しているCCDカメラには映像反転機能が存在したため,それを使用した.
眼鏡のレンズは取り外し,代わりに両凸レンズをはめ込み焦点距離を調節することで,ユー ザはLCDの反射映像を眺めることが出来る.
使用したハーフミラーフィルムと両凸レンズ,LCDの仕様について表5.3.1.1.,表5.3.1.2., 表5.3.1.3.に示す.
図5.3.1.1. 概略図
図5.3.1.2. 外観及び映像の反射
図5.3.1.3. ハーフミラー
メガネの つる
(a) 外観 (b) 映像の反射
LCD映像
29
試作したHMDの画角を測定した.測定の方法は以下の通りである.
① 測定者がいる地点にカメラを置く.
② 試作したHMDの画面を見ながら,左右の端に見える地点に目印を付ける.
③ 目印間の距離L’及び測定者から目印を結んだラインまでの距離Lを測定し,逆正接で角 度を求める(図5.3.1.4.).これにより,まず,カメラの視野角θが求まる.計算の結果50°
であった.
名称 NSN75GD
メーカー BRAINTEC.INC 写真
色 微淡ゴールド色 特徴 貴金属スパッタリングコーテ
ィング(Ag使用),2PLY(2枚 構造),フィルム厚38μm 特性 ハードコート,PS糊 光学仕様 可視光透過率73%
可視光反射率11%
日射吸収率20%
日射反射率29%
日射透過率51%
遮蔽係数0.67
紫外線遮蔽率99%
名称 TS両凸レンズ25×50 メーカー Edmund Optics
写真
直径 25.0mm
焦点距離 50.00mm
中心厚 5.00mm
コーティング 無
名称 CX-M025
メーカー CASTRADE 写真
画面サイズ 2.5 inch
輝度 250cd/m2
接続 ビデオ入力1系統
電源 DC12V
表5.3.1.1. ハーフミラーフィルム
表5.3.1.3. LCD 表5.3.1.2. 両凸レンズ
30
④ 目印同士の中間に更に目印となる物体を置き,HMD越しにその物体を見て指差す.
⑤ 置いた物体を端まで動かし,それを肘は固定して指先で追いかける(図5.3.1.5.).
⑥ 端まで動かし終わったらHMDを外し,物体の位置と指の方向を比べる.
⑦ 物体の位置と指の方向が一致したら,HMDの視野角はカメラの視野角と等しい.指が実 際より内側を指していたらカメラの視野角より小さく,外側を指していたら大きいとい うことになる(図5.3.1.6.).具体的な数値は物体の位置と指の向きのずれ具合を測定する ことで求めることが出来る.
測定の結果,指の方向は物体の位置にほぼ一致しており,試作したHMDの水平視野角は約50°
ということが分かった.試作HMDで使用したハーフミラーはほぼ透明であるため,相手からは 装着者の目元が見える.しかし,上部にLCDがあるため目元が暗くなってしまうこと,両凸レン ズを用いたことにより,装着者は映像をはっきり眺めることが出来るが,相手からは目が歪んで 見えてしまいアイコンタクトがうまく取れないという問題が生じた(図5.3.1.7).
図5.3.1.5. 移動体の追跡 指の向き
図5.3.1.6. 視野角の判定
図5.3.1.7. 目の見え方 画角小さい
画角一致 画角大きい
θ=2×tan-1( 2L / L’ ) θ
右端の点 左端の点
L L’
図5.3.1.4. カメラ視野角の算出
31 2. 試作2号(凹面反射型)
図5.3.1.8.に概略図を,図5.3.1.9.に装着者外観を,図5.3.1.10.に映像の見え方を示す.試
作 1 号は,装着者は映像をはっきり眺めることが出来るが,両凸レンズを使用していること により,相手は装着者の目がうまく見えないという問題があった.そこで試作 2 号ではレン ズを使用せずにカメラ映像を眺める手法を検討した.試作1号ではLCDを上部に固定し,ア クリル板で作成したハーフミラーでLCDを反射して映像を眺めていた.試作2号では左右に LCDを固定し,凹面のハーフミラーで映像を反射させる.このミラーはアクリル半球を適当 なサイズにカットし,ハーフミラーフィルムを貼付したものである.平らなミラーでは反射 光は一点に収束しないためレンズで集光しなければならないが,凹面ミラーは図 5.3.1.11.に 示すように反射光が焦点に収束する性質を持ち焦点距離を調節すれば直接眼球に像を結ぶた め,レンズは不要である.図5.3.1.12.に図面及び外観を示す.
図5.3.1.11. 凹面鏡の性質 (出典:和歌山大学 床井研究室) 図5.3.1.8. 概略図
図5.3.1.9. 外観
図5.3.1.10. 映像の見え方
(a) 正面 (b)側面
32
(a)上面図 (b)上面外観
(c)下面図
(d)下面外観
(e)右側面図 (f)右側面外観
(g)正面図 (h)正面外観
図5.3.1.12. 図面及び外観
33
凹面ハーフミラーを使用するに当たり重視することは凹面鏡の曲率である.曲率とは曲線の曲 がり具合を示す数値であり,曲線の半径(曲率半径=曲率の逆数)が小さい程曲率は大きくなる.こ の曲率を装着者の目の焦点距離に合わせて設計することで,反射映像をはっきり眺めることが可 能となる.装着者に最適な曲率半径の計算方法は以下の通りである.
・装着者の目の焦点距離:約10cm・・・B
・LCDから凹面鏡までの距離:約3cm・・・A
まず,物体がレンズから3cm離れた場所にあり,同じ向きでレンズから10cmの距離に像を結 ぶようなレンズの焦点距離を求める. (図5.3.1.13.)
次に焦点がp=4.2857となるような放物線を求める.図5.3.1.11.より,
であるため,放物線の式は,
となる.
図5.3.1.14.のように上記の放物線をz軸を中心として一回転させて出来る放物面を考える.
入射光が 90°反射して焦点に向かうような反射点(緑)の周囲をカットしてハーフミラーとして
使用する(赤いライン).しかし,このような放物面を一から作成するのは難しいため,本研究で は反射点における曲率半径を求め,同じ半径のアクリル半球をカットし代用する.この時,曲 率半径は橙ラインと水色ラインの2種類あり,両方の曲率半径の平均をアクリル半球の半径と する.
図5.3.1.13. 焦点距離の計算 (出典:レンズの公式-wikipedia])
2857 . 4
1 1 1
F
B A F
2
4 1 y z p
05833 2
.
0 y
z
34
2つの曲率半径を求めるには,次の公式を用いる(証明については付録参照).
・橙ライン(放物線)
x fx R f
' '
'
1 2
3
2
= 24.24cm
・水色ライン(楕円) a
r b
2 = 18.186cm
よって曲率半径平均は21.213cmとなる.市販のアクリル半球の半径は5cm刻みであるため,
本研究では半径20cmのアクリル半球をカットし,ハーフミラーとして使用した.
実際に作成した凹面ハーフミラーを図5.3.1.14.に示す.
図5.3.1.14. 放物面
図5.3.1.15. 凹面ハーフミラー
N
Z
Y L
入射光
焦点 Lz y4.2862 8576
.
12
z y N
8.5719 4.2857
a b
接線L 法線N
35
以上のハーフミラー設計を行い,試作したHMDの視野角を測定した結果試作1号と同じ約
50°であった.試作 2号ではLCD は左右にあるため目元が明るく,また焦点距離調節のため
の両凸レンズを使用していないため,相手とアイコンタクトを取ることが可能である.
表5.3.1.4.に試作したHMDと従来のシースルーHMDとの比較を示す.従来のものと比較し
て倍以上の視野角を持ち,且つアイコンタクト可能なシースルーHMDを作ることが出来た.
名称 コニカミノルタ HMD(モノトーン)
コニカミノルタ HMD(カラー)[8]
MOVERIO BT-100
試作2号
画像
形式 片眼式 片眼式 両眼式 両眼式
映像の色 モノトーン フルカラー フルカラー フルカラー 視野角 水平16° 水平12° 水平23° 水平50°
外部入力 ○ ○ ×
(ストリーミング)
○
5.4. 評価方法
改良を加えたシステム及び試作したHMDを使用して,使用感,臨場感について改めて評価を行 う.実際に試作したシステムを用いて会話を行い,その後,臨場感や使用感について以下のよう なアンケートを取る.
・HMDの映像ははっきり見えたか?
・相手の視線を把握できたか?
・相手の目は見えた方が良いか,見えなくて良いか?
・相手側の雰囲気の伝わりやすさ
・相手が自分のすぐ目の前にいる感じがするか?
・会話はスムーズに行えたか?
・両眼式と片眼式ではどちらが良いか?
以上の項目について理由付きで評価してもらい,通常のテレビ電話との比較についても記述して もらう.
表5.3.1.4. シースルーHMDの比較
36
第6章 評価実験
6.1. 実験方法
試作システムを2つ用意し,実際に遠距離で会話を行う.会話後,臨場感や使用感についてアン ケートを取り,理由付きで評価してもらう.
【場所】
電気通信大学西6号館601及び609
【被験者】
メガネを装着していない6人
【方法】
2つの離れた部屋にそれぞれ試作したシステムを設置し,3本の同軸ケーブル(映像2,音声1)と6 芯のリボンケーブルで2部屋を繋ぎ,実際に会話を行う.会話には先行研究同様,音声会議用装
置polycom soundstation2を用いる.また,それぞれのカメラの背後には,HMDに表示される
映像の視認性を高くするため,暗幕を設置する.
図6.1.1.双方向通信実験場所
37
6.2. 実験結果
評価実験の結果を以下に示す.
図6.2.1. アンケート結果1
【評価理由】
◯物を識別出来る程度には見えた
◯はっきり見えた
△暗幕の方を向けばよく見える
△画質が良くない
✕目が痛かった
✕寄り目をしないとよく見えない
【評価理由】
△瞬き程度なら分かる
△目の位置なら分かった
✕白目,黒目の判断は出来なかった
✕頭の向きから目線も推測できた
【評価理由】
・臨場感を意識するなら見えた方が良い
・見えた方がコミュニケーションをより とりやすい
・どこを見ているかが分かるから
・声や目以外の表情で相手の気持ちは分 かるから見えなくて良い
・顔だけ見えれば良い
【評価理由】
◯周囲の状況がよく分かる
◯360°見渡せるためよく伝わる
○広範囲を眺めることが出来る
△詳細までは分からない
38
【通常のテレビ電話との比較】
-頭部を動かして自分の見たい方を見ることが出来るため,テレビ電話より自由を感じる -自分の意思で相手の周囲を見ることが出来,コミュニケーションが進む
-自分の見たい場所を見ることが出来るため,通常のテレビ電話より会話しやすい -目線が合っているため,より会話しやすい
-通常のテレビ電話もそこまで画質が良くないため,総合的に考えても断然会話しやすい -通常のテレビ電話だと相手側の背景があまり変化しないため,単純な会話中心になりがち
だが,相手側を自由に見渡せるため相手の空間を踏まえた会話が増える -尐しだけ酔う
【その他の意見】
-ズーム機能や色を絞る,図形やポインタの表示等の機能があると便利だと思う 図6.2.2. アンケート結果2
【評価理由】
◯奥行きが感じられるため
◯自分の視線移動に映像が追従するため
◯相手が大きく映るから
✕画質が良くないため,目の前にいる感 じはし難い
✕画面サイズが小さく感じた
【評価理由】
◯遅延は殆ど感じなかった
◯音声も明瞭で会話に支障はなかった
◯相手が注目してほしいものがすぐ分か り,その方向を見ることが出来た
◯上下左右共に動作はスムーズだった
【評価理由】
・片眼だとピントを合わせるのが難しかった
・視界が狭くなったように感じた
・片眼だけにすると目の疲労を感じる
・片眼だと距離感が分かりにくくなる
39
6.3. 考察
実際に試作したシステムを用いて会話を行い,その使用感や臨場感についてアンケートを取っ た.
1. HMD の映像ははっきり見えたか
被験者の視力は森と同じく全員 1.0 前後であり,「はっきり見える」,「物体を識別できる程度 には見える」という意見が多かった.使用した HMD は森の目に合わせて試作したが,被験者 全員が同じような視力であったため,同じ曲率半径のハーフミラーディスプレイを適用出来 た.しかし,マイナスの意見として「画質が悪い」,「暗幕の方を見ないと見難い」という意 見があった.まず,画質について.試作した HMD では CCD カメラの映像を LCD に表示し,ハ ーフミラーで反射させることでユーザは映像を眺めることが出来る.従ってカメラの解像度 の影響を大きく受けるため,より高画質のカメラを使用する必要がある.また,使用したハ ーフミラーディスプレイの曲率半径は計算で求めた数値とは異なる.使用しているミラーの 曲率半径は縦横共に 20cm であるが,算出した曲率半径は横が 24.24cm,縦が 18.186cm である.
今後はミラーを熱加工し曲率半径を算出したものに一致させることで,ユーザはよりはっき りした映像を眺めることが可能となると考えられる.HMD の画質については,カメラの画質を 向上させ,ディスプレイの曲率を最適化した上で更に詳しい評価が必要である.次に,暗幕 について.使用しているハーフミラーフィルムは可視光透過率が 73%,可視光反射率が 11%の ものである.可視光反射率が低いため,明るい空間では映像は見辛い.透過率を下げれば映 像も見易くなるが,相手から装着者の目が見えなくなってしまうという問題がある.そのた め,多層コートのような可視光反射率が高く,且つ可視光透過率も高いフィルムの検討が必 要である.マイナスの意見として,「寄り目をしなければ見えない」という意見もあった.試 作した HMD はディスプレイの曲率半径や位置は全て固定されているため,誰もが適切に使用 できるわけではない.装着者の視力や目の位置によってハーフミラーの曲率や位置を調整出 来るようにする必要性がある.
2. 相手の視線を把握することが出来たか
「まぁまぁ出来た」,「辛うじて出来た」という意見が多かった.目の位置や瞬きは把握でき たが,白目黒目の判断や視線移動については分からなかったという人が多かった.視線が把 握できたという意見もあったが,これは視線を頭部の動きから推測していた.このような結 果となった原因の1つとしてディスプレイや映像の画質が悪かったことが挙げられる.その ため,「1.HMD の映像ははっきり見えたか」で述べたような高画質化をした上で再評価する必 要がある.
3. 相手の目は見えたほうが良いか
意見が割れ,「見えたほうが良い」,「見えなくて良い」という意見が同数あった.「見えたほ うが良い」という意見では,より臨場感,リアルさを追求するなら見えるべきという理由で あった.逆に「見えなくて良い」という意見では,見えなくてもそれ以外の表情で相手の気 持ちは分かるという理由や顔だけ見えれば良いという理由であった.今回の実験では映像の
40
画質が悪く,被験者が満足に相手の視線を把握できなかったため,カメラをより高画質にし て視線をしっかり把握出来るようにした上で再び評価してもらう必要があると感じた.
4. 相手側の雰囲気の伝わりやすさ
「良く伝わる」という意見が大多数だった.映像がカラーになり両眼で見ることが出来るた め,被験者の多くが伝わりやすいと感じた.また,周囲を 360°見渡せることにより,情報量 が増え更に雰囲気の把握につながったと考える.しかし,「詳細までは分からない」という意 見があった.この意見については映像の画質向上により対応できると考える.
5. 相手が自分のすぐ目の前にいる感じがするか
大多数が「する」と答えた.理由としては,両眼になったことにより相手が大きく表示され るからというものや,奥行きが感じられるからという意見が多かった.また,ユーザの頭部 の動きに合わせて映像が動くことも相手が自分のすぐ目の前にいる感じがするということに つながった.「あまり感じなかった」という意見もあり,その理由としては,画質が良くない,
画面サイズが小さいというものであった.試作した HMD は LCD を反射させて映像を見ている ため,ハーフミラーのサイズも LCD のサイズに合わせたものとなっている.そのため,現在 の HMD の方式では画面サイズの拡大は難しい.より大きな LCD,より大きなハーフミラーを用 いれば画面サイズの拡大は可能であるが,総重量が大きくなってしまいユーザへの負担も大 きくなってしまう.画質についてはカメラの高画質化で対応可能である.
6. 会話はスムーズに行えたか
被験者全員が「スムーズに行えた」という意見であった.カメラは上下左右スムーズに動き,
遅延も殆ど感じられなかった.音声も明瞭で,相手が注目しているものがすぐ分かり,視線 をその方向に向けることが出来たという意見が多かった.
7. 両眼式と片眼式ではどちらが良いか
被験者全員が「両眼のほうが良い」という意見であった.片眼式では視界が狭くなったよう に感じ,また距離感もつかみ難くなったようだ.また,片目に集中するため,目の疲労を感 じるという意見が多かった.
会話実験を行った結果,相手側の雰囲気の伝わりやすさ,相手が自分の目の前にいる感じ,会 話のスムーズさについて良い意見が非常に多く,先行研究と比較してシステムを発展させること が出来たと考える.カメラの追従特性の向上,見渡し可能範囲の拡大,ユーザの見ることが出来 る映像が両眼フルカラーになったことがこのような結果につながったと考える.しかし,映像の 画質が悪かったため,アイコンタクトは満足にとることが出来なかった.今後の課題としては,
ハーフミラーの曲率半径の最適化,ハーフミラーフィルムの透過率及び反射率の再検討,HMD の 画面サイズの更なる拡大,ミラー調節機能の追加,そしてカメラの高画質化が挙げられる.また,
首を傾げるといった特殊動作への対応や,ズーム機能,図形やポインタの表示といったユーザ志 向のシステム構成の検討も必要であると感じた.