氏 名 杉浦 篤志 博士の専攻分野の名称 博士（情報科学） 学 位 記 番 号 医工博甲第３１３号 学 位 授 与 年 月 日 平成２７年３月１８日 学 位 授 与 の 要 件 学位規則第４条第１項該当 専 攻 名 人間環境医工学専攻 学 位 論 文 題 目 拡張現実感における直感的操作環境の実現に関する研究 論 文 審 査 委 員 主査 教 授 茅 暁 陽 教 授 郷 健 太 郎 准教授 渡 辺 喜 道 准教授 木下 雄一朗 准教授 小 俣 昌 樹 慶応義塾大学 教 授 藤 代 一 成
学位論文内容の要旨
拡張現実感は，現実環境に情報機器を用いて仮想環境を重畳して提示する技術である． 現実環境の物体に関する文字などの視覚的情報をはじめ様々な情報の付加・強調を行い， ユーザに提供することが可能となる．拡張現実感に関するソフトウェア開発や周辺機器の 技術革新により，広く一般にも利用されるようになってきた．拡張現実感を実現するため の多くのシステムでは，視覚情報提示に HMD（Head-Mounted Display）が利用される．また， 現実環境における操作や作業を支援するという観点から，携帯電話等の情報端末の画面を 使用した提示方法も多く利用されている． 拡張現実感を実現するための基盤技術として，①仮想物体とのインタラクション技術， ②現実環境と仮想環境の位置統合技術の 2 つが挙げられる．本論文では，より直感的な操 作が可能な拡張現実環境を簡単に実現するための新たなインタラクション手法と位置情報 統合手法の実応用システムを提案する． 既存の仮想物体とのインタラクション技術として，キーボードなどのキー入力，タッチ パネルへのタッチ入力，そして，音声入力がある．また，実物体とのインタラクションと 同様に，仮想物体を手で直接操作する方法に関する研究も多くなされている．しかし，従 来の手法では簡単なジェスチャで仮想物体を操作するために特殊なデバイスを必要としたり，簡単なデバイスであるが特殊なジェスチャ操作を必要としたりするなどの問題がある． 仮想物体とのインタラクション技術を向上させるため，仮想物体を手で直感的に操作す ることを可能にするインタフェースの構築を目標とする．ボタンを指で押す動作に類似し たジェスチャと仮想物体を指でポインティングするジェスチャの 2 つを合わせたジェスチ ャをクリック動作と呼び，クリック動作で仮想ボタンを直感的に操作することを提案する． クリックは GUI（Graphic User Interface）において最も基本的で重要な操作である．アイ コンに様々な機能を割り当てクリック操作することで様々な操作や指示ができる．GUI にお けるクリックと同様にアイコンに見立てた仮想ボタンに様々な機能を割り当て，クリック 動作で入力する．それによりクリック動作だけで様々な操作や指示を行うことができる． よって，拡張現実感においてクリック動作が有効な入力操作になると考えられる． 拡張現実感実現のためには 1 台のカメラが搭載された HMD や携帯端末が用いられること が多いが，1 台のカメラのみでは指と仮想物体の正確な奥行き関係を計算できないために， 奥行き方向に指が移動するジェスチャであるクリック動作の認識が困難であった．そこで， 本研究では 1 台のカメラでクリック動作が認識できる手法を提案する． 予備実験において，利用者が仮想ボタンに対してどのようにクリック動作を行うかを観 測する．その実験結果より，仮想ボタンを指先でポインティングする動作と指先で押すと きの速度および急減速を調べることでクリック動作の検出が可能であることを見出した． この事実に基づいて，1 台のカメラから指先の速度および急減速を算出する手法と指先のポ インティングを視覚的なフィードバックにより提示する仮想ボタンを設計した．また，ク リック動作の認識アルゴリズムを 2 種類設計した．1 つめは指先の速度および加速度から指 先の状態を停止，通常動作，速い動作，急減速の 4 つの状態に分類し，指先の状態遷移に よりクリック動作を認識する手法を開発した．2 つめはクリック動作に特徴的な動作である 急減速を検出することでクリック動作を認識する手法を開発した．提案手法の有効性は， 画面上に十字型に仮想ボタンを配置した文字入力型インタフェースおよび仮想ボタンの間 隔を文字入力型より狭く配置した電卓型インタフェースにより入力を行わせる被験者実験 によって検証した．被験者のインタビュー結果から一般的な携帯端末操作に不慣れな被験 者に対しても直感的な仮想ボタンへのクリック動作が実現できていることを確認した．ま た，指先の急減速の検出によるクリック動作認識の結果が，文字入力タスクでは F 値が 0.961， 電卓入力タスクでは F 値が 0.972 となり高い検出率となった． 2 つめの基盤技術である現実環境と仮想環境の位置情報の統合技術では大きく 2 つの方法 があり，GPS（Global Positioning System）と様々なセンサを利用した方法とカメラを用 いて画像処理を利用した方法がある．GPS とセンサを利用する方法では GPS により情報端末
の位置を取得し，情報端末に内蔵されている加速度センサなどから情報端末の姿勢を推定 して，現実空間と仮想空間の位置情報を統合する．カメラを用いた画像処理を利用した方 法ではマーカを用いた手法があり，比較的簡単に導入でき精度が高い．カメラでマーカを 撮影し，撮影された画像内にあるマーカ形状を取得する．それと事前に取得してあるマー カ情報を比較し，マーカの位置や姿勢を推定し，現実空間と仮想空間の位置合わせを行う． マーカを用いた手法での問題点は，マーカの隠蔽によりマーカ情報が取得できず，仮想物 体の表示が途切れてしまう場合があることである． マーカの隠蔽問題を解決するために，マルチマーカとマルチカメラを用いてマーカ情報 の補完をする方法がある．この方法はある特定のカメラでは隠蔽されたマーカの情報を別 のカメラから取得した同じマーカの情報を利用することにより隠蔽されたマーカの情報を 補完し，隠蔽されたマーカ上でも仮想物体を表示させることができる．本研究では，この 方法を利用した実応用システムとして警察，検察による現場検証用映像のインハウス制作 支援システムを提案する． 裁判員制度により，裁判官と国民から選ばれた裁判員がそれぞれの知識と経験を活かし つつ一緒に裁判内容を判断するようになった．裁判員は一般市民で構成されるため，一般 市民でも理解しやすい裁判資料が求められている．テレビ番組などでは事件等の再現映像 に 3 次元 CG 映像が広く利用されているが，現状の裁判資料では 3 次元 CG 映像の利用が少 ない．これは秘密情報保持により外部委託が難しく，CG 映像制作は専門知識が必要であり 警察，検察によるインハウス制作は困難であった． そこで，現場に多数のカメラを設置し，被害者用マーカや凶器用マーカを配置する．そ れにより犯罪現場環境は現実環境で被害者や凶器は仮想物体で表示し，犯人役を演技者が 演技することで拡張現実感を利用した現場検証用の環境を実現する．このように，犯罪状 況を演技者が演じるだけで現実環境と人物動作を反映した CG 合成映像を生成する手法を構 築する．マルチカメラを用いて人物や物体によって隠蔽されたマーカの情報を補完し，マ ーカの隠蔽問題の解決を図る．また，演技の素人である演技者が仮想物体との位置関係を 把握できるように，演技者（一人称）及び視聴者（三人称）視点映像を取得し演技者へ提 供する．評価実験によりマルチカメラとマルチマーカにより隠蔽されたマーカの情報が補 完可能であることを確認した．仮想オブジェクトに対して仮想凶器を指す動作中の 1000 フ レームに対して補完処理がない場合はマーカの隠蔽により 235 フレームのみ仮想凶器を表 示したが，補完処理を追加することにより 1000 フレーム全てで仮想凶器を表示することが 可能となった．また，演技者へ三人称視点映像の提示の有無により仮想物体の位置関係の 把握しやすさの確認も行った．三人称視点映像をサムネイルで利用者に提示することで正
確性が向上し，操作時間を短縮することができた． 拡張現実感を実現するための基盤技術である仮想物体とのインタラクション技術におい て 1 つのカメラで直感的な仮想ボタン操作のインタフェースを構築し，仮想物体とのイン タラクション技術を向上させた．もう 1 つの基盤技術である現実環境と仮想環境の位置情 報の統合技術ではマルチカメラとマルチマーカによるマーカ情報補完の手法を利用し，実 応用システムとして犯罪現場検証用の映像生成システムを構築し，拡張現実感環境の利用 範囲を広げた．これらの技術向上により拡張現実感における直感的操作環境の実現を行っ た．
論文審査結果の要旨
拡張現実感におけるデバイスやアプリケーションが広く一般に普及しはじめ現在，最も 注目されている技術分野の 1 つである．拡張現実感を実現するための基盤技術として①仮 想物体とのインタラクション技術，②現実環境と仮想環境の位置統合技術の 2 つを挙げて いる．本論文は仮想物体に対するより直感的なインタラクションと位置情報統合技術の 1 つであるマーカの利用範囲向上のための実応用システムのためのそれぞれに必要な要素技 術を考察し，アルゴリズムやシステムを提案・実証している．以下に各章で述べている成 果と意義を記述する． 第1 章では本論文の位置付けと方針を述べている． 第 2 章では拡張現実感環境における技術背景を述べ，仮想物体とのインタラクション技 術，拡張現実感における位置統合技術のそれぞれの技術についての関連論文を述べ問題点 を整理している． 第 3 章は仮想物体とのインタラクション技術に関する章である．一般に利用する入力ジ ェスチャである対象物を指先で押す動作に注目し，仮想ボタンを指先で押す動作について 注目している．予備実験を行い，ジェスチャ認識手法の設計のための技術抽出をしている． そして，予備実験により仮想ボタンを指先でポインティングする動作と指先で仮想ボタン を押すときの速度および加速度によりクリック動作の検出が可能であることを見出してい る．また，1 台のカメラでは物体の奥行き情報を認識することが困難であるため，指先の太 さに注目することで疑似的に 3 次元の情報を取得し，クリック動作認識の向上に繋げてい る．視覚的フィードバックにより仮想ボタンと指先の位置関係とクリック動作による入力 をユーザに提示している．クリック動作の検出手法にはクリック動作に特徴的な加速度によるクリック動作の検出手法とクリック動作を 4 つの状態に分類し，その状態遷移による クリック動作の検出手法を構築している．提案手法の有効性は文字入力型および電卓型イ ンタフェースにより文字入力を行う被験者実験によって検証していた．また，情報端末操 作に不慣れな被験者に対しても実験を行い，提案手法の直感性を評価していた．クリック 動作による応用アプリケーションについても述べ，提案手法の実用性を示していた． 第 4 章では，マーカの隠蔽問題を解決する方法であるマルチマーカ・マルチカメラによ る方法を現場検証用の映像生成に適応させている．現場環境はそのまま利用し，被害者や 凶器を仮想物体にすることで拡張現実感環境を有効に利用している．マルチカメラを使用 して複雑な現実環境においても簡単に拡張現実感環境を実現している．また，演技者（一 人称）及び視聴者（三人称）視点映像をマルチカメラにより取得し，演技者へ提供するこ とで演技者の仮想物体との位置関係の把握しやすさを向上させている．評価実験によりマ ルチカメラとマルチマーカによるマーカ情報の補完が可能であることを確認している．被 験者実験により三人称視点映像の提示の有無による操作性の評価を行い検証していた． 第5 章では，第 3 章と第 4 章での成果をまとめ，更なる頑健な手指領域の抽出の実現 や他のジェスチャへの展開，注釈表示や動作の軌跡表示などより多くの情報表示の開発が 次の課題であることを述べ，本論文のまとめとしている． 以上のように本論文では拡張現実感における基盤技術である仮想物体へのインタラク ション技術と位置情報統合技術においての技術的課題を選定し，必要な要素技術を明らか にしている．それぞれの技術に対する提案手法を確立しシステムを開発，評価実験を行い その有効性を実証している．その成果は拡張現実感における操作環境の実用化を加速させ， 拡張現実感技術の発展に貢献するものであり，博士論文の価値があると認められる．
