gZp

エネルギー科学研究科

エネルギー社会・環境科学専攻修士論文

題目：

拡張現実感技術を利用した

住宅景観シミュレーションシステムの

開発

指導教員： 下田 宏 准教授

氏名： 松岡 和宏

提出年月日： 平成

21

年

2

月

10

日

(火)

論文要旨

題目 : 拡張現実感技術を利用した住宅景観シミュレーションシステムの開発 エネルギー情報学分野 松岡 和宏 要旨 : 住宅を新築・改築する際、現状では完成後の住宅の明確なデザインやその周囲の風 景との調和を直感的かつ具体的に把握する手段に乏しい。この問題に対して、拡張現 実感技術を利用して実際の住宅建設の現場に完成後の住宅の CG を重畳表示すること で、問題が解決されると期待できる。 拡張現実感技術のキーテクノロジーである、CG 等を重畳表示させる周囲の実物体と ユーザの視点位置との相対位置関係をリアルタイムで計測するトラッキング技術には 様々な手法がある。拡張現実感技術を安価で手軽に利用するには人工マーカ法による トラッキング手法が適している。特に石井らの開発した円形マーカを用いることで広 域に渡って拡張現実感を実現できる。また人工マーカ法の場合、環境中に設置した人 工マーカの 3 次元位置を計測しなければならないが、楊らの開発した 3 次元位置自動計 測システム (MAMS) を用いることで簡便に計測することができる。ただし、人工マー カ法は屋外ではロバスト性が低く、屋外で使用するには問題があると予想される。 本研究では、イメージ通りの住宅を建設するための支援として、実際の住宅を新築・ 改築する現場に完成後の住宅の CG を重畳表示し、さらにユーザがその住宅や庭の CG を自由にその場で変更できる、住宅景観シミュレーションシステムの開発を目的とする。 本研究ではまず、シミュレーションシステムを安価で手軽に利用できるようにする ために、人工マーカ法によるトラッキングを利用するものとした。その際、人工マー カ法を屋外で簡便に安定して利用可能にするため、再帰性反射材を素材として用いた マーカを試作し、その性能を実験により評価した。実験の結果、再帰性反射材製マーカ を用いれば、一般に用いられる紙にインクで印刷しただけのマーカに比べ、太陽光環 境下でも安定したトラッキングが行えることがわかった。しかし再帰性反射材製マー カを用いても、太陽光環境下において MAMS による 3 次元位置自動計測は行えず、半 手動で行わなければならなかった。

続いて、HMD(Head Mounted Display) に搭載されたカメラによって撮影された映像 に住宅などの CG を重畳表示し、HMD を介してユーザに提示する住宅景観シミュレー ションシステムを開発した。本システムには、制御用 PC 上で CG の表示位置や向き を操作する機能、モデル用マーカの設置位置に応じて CG を表示する機能を実装した。 さらに開発したシステムを用いて、実際に屋外で動作確認の実験を行った。 実験の結果、システムは想定通りの動作を行え、特にモデル用マーカの機能では、 CG の表示位置を非常に直感的にかつ微細に調整することができた。問題点としては、 撮影されたマーカ群のうちの一部だけ強い太陽光が当たっている場合にはトラッキン グが行えなくなった。また、現実にはＣＧよりも手前にあるはずの物がＣＧに隠れて しまうオクルージョンの問題も発生した。 今後の課題としては、上記の問題点の解決や、本システムを実用的なものとするた めに、実際の住宅の建築現場で本システムに望まれる機能を調査し、またその機能を 実装したシステムを作成し有用性を評価することが挙げられる。

目 次

第 1 章 序論 1 第 2 章 研究の背景と目的 3 2.1 研究の背景 . . . 3 2.1.1 住宅を新築・改築する際の現状と問題点 . . . 3 2.1.2 拡張現実感技術とは . . . 4 2.1.3 ディスプレイ技術 . . . 6 2.1.4 トラッキング技術 . . . 10 2.1.5 関連研究 . . . 16 2.2 研究の目的と意義 . . . 21 第 3 章 マーカの 3 次元位置自動計測システムの改良と評価 22 3.1 屋外におけるマーカの 3 次元位置自動計測の問題点 . . . 22 3.1.1 予想される問題点 . . . 22 3.1.2 問題点の確認 . . . 27 3.2 本研究で用いるマーカの大きさの検討 . . . 31 3.3 問題点の改善 . . . 33 3.3.1 再帰性反射材を用いてマーカの大きさ問題に対応 . . . 33 3.3.2 再帰性反射材・フェルトを用いて太陽光環境下に対応 . . . 36 3.4 屋外でのマーカの 3 次元位置自動計測に残る課題 . . . 39 第 4 章 住宅景観シミュレーションシステムの開発 42 4.1 住宅景観シミュレーションシステムの設計 . . . 42 4.2 ハードウェア構成 . . . 43 4.3 ソフトウェア構成 . . . 44 第 5 章 住宅景観シミュレーションシステムの動作確認実験 59 5.1 実験の目的 . . . 59 5.2 実験方法 . . . 59

5.2.1 実験システムの構成 . . . 59 5.2.2 実験環境 . . . 62 5.2.3 実験手順 . . . 62 5.3 実験結果 . . . 63 5.3.1 トラッキングの安定性に関する実験結果 . . . 63 5.3.2 住宅景観シミュレーションシステムの機能に関する実験結果 . . 66 5.4 考察 . . . 75 5.4.1 試作システムに関する考察 . . . 75 5.4.2 トラッキングの安定性に関する考察 . . . 76 5.4.3 住宅景観シミュレーションシステムの機能に関する考察 . . . . 77 5.4.4 システムの実用化に向けての課題 . . . 78 第 6 章 結論 81 謝 辞 83 参 考 文 献 84 付録 A 円形マーカ 付録 A-1 A.1 円形マーカのデザイン . . . 付録 A-1 A.2 円形マーカの認識アルゴリズム . . . 付録 A-2 A.3 円形マーカを用いたトラッキング . . . 付録 A-6

図 目 次

2.1 拡張現実感技術の例 . . . 4 2.2 プロジェクション型ディスプレイ . . . 7 2.3 ヘッドマウントディスプレイ . . . 8 2.4 ハンドヘルドディスプレイ . . . 8 2.5 ARToolKit のマーカ . . . 14 2.6 円形マーカ . . . 15 2.7 平城京跡ナビの機器構成 . . . 17 2.8 平城京跡ナビの仮想建築物重畳表示 . . . 17 2.9 バーチャル飛鳥京の機器構成 . . . 18 2.10 バーチャル飛鳥京の仮想建築物重畳表示 . . . 18 2.11 Urban Sketcher の機器構成 . . . 19 2.12 Urban Sketcher のスケッチ重畳表示 . . . 20 3.1 MAMS の外観 . . . 23 3.2 MAMS のハードウェア構成 . . . 24 3.3 レーザ照射位置を特徴点に合わせる過程 . . . 24 3.4 レーザ照射位置の探索 . . . 25 3.5 住宅景観シミュレーションシステムにおけるマーカの配置 . . . 25 3.6 小さいマーカを用いる場合のマーカの配置 . . . 26 3.7 問題点 1:マーカが大きいと相対的にレーザ光が小さくなる . . . 27 3.8 問題点 2:屋外では太陽光の反射が強くマーカが認識できない . . . 28 3.9 問題点 3:屋外では相対的にレーザ光が弱くなる . . . 28 3.10 大きいマーカの計測実験の実験環境 . . . 29 3.11 マーカの大きさの算出 . . . 32 3.12 再帰性反射のしくみ . . . 34 3.13 屋外でのマーカ認識実験の実験環境 . . . 38 4.1 システムの使用状況のイメージ . . . 44

4.2 ハードウェア構成 . . . 45 4.3 サポーター用ツールのインタフェース . . . 46 4.4 住宅を重畳表示 . . . 46 4.5 HMD に表示される重畳表示の画面 . . . 47 4.6 住宅の表示位置を変更 . . . 47 4.7 視点変更:側面図 . . . 48 4.8 視点変更:上面図 . . . 48 4.9 視点変更:カメラと同じ視点にする . . . 49 4.10 視点変更:前後 . . . 50 4.11 視点変更:上下左右 . . . 50 4.12 CG の選択 . . . 51 4.13 CG の平行移動 . . . 52 4.14 CG の表示位置の決定 . . . 52 4.15 CG の回転 . . . 53 4.16 CG の向きの決定 . . . 53 4.17 モデル用マーカ . . . 54 4.18 モデル用マーカによる重畳表示 . . . 55 4.19 向き決定用マーカによる向きの変化 . . . 55 4.20 マーカの間隔により CG の個数が変化 . . . 56 4.21 モデル用マーカで表示された CG の選択 . . . 56 4.22 モデル用マーカで表示された CG の平行移動 . . . 57 4.23 モデル用マーカで表示された CG の回転 . . . 57 4.24 モデル用マーカで表示された CG の表示位置のリセット . . . 58 4.25 モデル用マーカで表示された CG の非表示 . . . 58 5.1 実験用試作システム . . . 60 5.2 三脚及びブックエンドに固定したマーカ . . . 61 5.3 実験システムを使用している様子 . . . 61 5.4 動作確認実験の実験環境 . . . 62 5.5 実験の様子 . . . 63 5.6 実験環境におけるマーカ配置の様子 1 . . . 64 5.7 実験環境におけるマーカ配置の様子 2 . . . 64 5.8 実験環境におけるマーカの位置情報の視覚化 . . . 65

5.9 一部分に太陽光が入射したマーカ . . . 65 5.10 日陰と日向が混じったマーカ群 . . . 66 5.11 正面・重畳表示なし . . . 67 5.12 正面・住宅表示 . . . 68 5.13 HMD に表示される画面 . . . 68 5.14 壁のテクスチャ変更 1 . . . 69 5.15 壁のテクスチャ変更 2 . . . 69 5.16 壁のテクスチャ変更 3 . . . 70 5.17 壁のテクスチャ変更 4 . . . 70 5.18 斜め横・重畳表示なし . . . 71 5.19 斜め横・住宅表示 . . . 71 5.20 正面・モデル用マーカ . . . 72 5.21 正面・住宅＋フェンス表示 . . . 72 5.22 側面・重畳表示なし . . . 73 5.23 側面・住宅表示 . . . 73 5.24 側面・モデル用マーカ . . . 74 5.25 側面・住宅＋生垣表示 . . . 74 5.26 オクルージョンの例 . . . 75 A.1 遠近両用マーカの構造と 1 番から 4 番のマーカ . . . 付録 A-3 A.2 番号が同じマーカの例 (回転すれば同じ) . . . 付録 A-3 A.3 マーカの正規化 . . . 付録 A-6

表 目 次

2.1 各ディスプレイの長所 . . . 9 2.2 各ディスプレイの短所 . . . 10 2.3 各トラッキング技術の長所 . . . 12 2.4 各トラッキング技術の短所 . . . 13 3.1 問題点 1 の確認実験の結果 . . . 30 3.2 カメラレンズの焦点距離と画角 . . . 32 3.3 フィルタおよび再帰性反射材の有無による計測結果への影響の評価 (単 位:mm) . . . 35 3.4 再帰性反射材を用いたマーカの自動計測結果 . . . 37 3.5 屋外でのマーカ認識実験の結果 . . . 40 5.1 制御用 PC の仕様 . . . 60 5.2 クライアント用 HMD の仕様 . . . 60 5.3 CCD カメラの仕様 . . . 61

第

1

章

序論

近年、計算機技術は目覚しく発達し、コンピュータの小型化・高性能化が進み、我々 の生活に深く関わってきている。特にユビキタスコンピューティングの分野において は、ウェアラブルコンピュータが実現し、日常生活の様々な場面でコンピュータを用 いて人間の活動をサポートしようとする試みが盛んに行われている。 なかでも、センサ技術の発達により、人間の現在位置や姿勢をリアルタイムで計測す ることが可能になったことで、人間の視線を推定し、その人が見ている場所に対して、そ の注釈情報などの仮想情報を視線位置に合わせて表示するという技術が研究されている。 この、現実世界に仮想の情報を重畳表示させる技術は、拡張現実感技術 (AR:Augmented Reality) と呼ばれる[1]_。 拡張現実感技術を用いれば実際には見えないものを、あたかもそこに存在するかの ように表示することができる。非常に有用な技術であり、ナビゲーションシステムや 観光案内システム[2]、複雑な機器の組み立て・解体・メンテナンスの作業支援[3][4]、エ ンタテイメント用途[5]など、様々な分野のアプリケーションに利用されている。しか しながら、高価なセンサ類が必要であったり、機器の設置や保守が手間であったり、機 器の使用条件が限定されていたりと、様々な問題があり、まだ一般に普及している技 術とはいえない。 したがって、様々な環境に柔軟に対応でき、手軽に使用できる拡張現実感技術を確 立することができれば、拡張現実感技術の発展に大きく貢献できるといえる。特に屋 外におけるアプリケーションでは、太陽光の照度変化や風による影響などで周囲の環 境が安定しないことから、高価なセンサ機器や複数のセンサを組み合わせた複雑な拡 張現実感技術を利用することが多い。 本研究では、拡張現実感技術の有用利用が期待される、住宅の建設現場への拡張現 実感技術の導入を目指し、屋外における拡張現実感アプリケーションとして、住宅景 観シミュレーションシステムを開発することを本研究の目的とする。拡張現実感を実 現する手法として特に、センサ類としてビジョンセンサのみを必要とし、安価で手軽 に使用できる、人工マーカを用いた拡張現実感技術に着目する。人工マーカ法はロバ スト性が低く屋内での使用が主流である。これを屋外においても安定して使用できる ように改良した上でシステムの開発を行う。

本論文は、第 1 章の序論を含め、全 6 章で構成されている。第 2 章では、本研究の 背景と目的・意義について述べる。第 3 章では、屋外において人工マーカ法による拡 張現実感技術を簡便にかつ安定して利用できるように行った工夫について述べる。第 4 章では、開発した住宅景観シミュレーションシステムについて説明する。第 5 章では、 開発したシステムの動作確認のために行った実験について述べる。最後に第 6 章では、 本研究のまとめと今後の課題を述べ、本論文の結論とする。

第

2

章

研究の背景と目的

2.1

研究の背景

2.1.1

住宅を新築・改築する際の現状と問題点

個人の住宅の新築や改築は多くの資金を必要とするため、多くの人にとって慎重に 失敗しないよう行いたい行為である。そのため、建設業者に全てを委任するのではな く、住宅のオーナー側も間取りの設計や外観のデザインに意見を出す風潮が高まって いる。 しかし、住宅のオーナーが完成後の住宅を想像するには、設計図や間取り図を見て 頭の中で思い描くか、パース図などを用いてある一面からの外観の予定図を見る程度 の手段しかなく、実際の住宅を明確にイメージすることは難しいといえる。

そこで近年では、ハウスメーカー側が 3DCG（3 Dimensional Computer Graphics） を用いてより現実感のあるパース図を用意したり、住宅の完成後の 3DCG をオーナー 側が個人で仮想空間上に自由に作成できるといったツール[6]も実用化されたりと、住 宅のデザインを明確に伝える手法については技術が進歩してきている。 ところで、住宅を新築・改築する際には住宅そのもののデザインだけではなく、周 囲の風景との調和も重要な要素である。特に色彩の調和については、サンプルとして 紙に小さく印刷された色と、実際に広い範囲に塗装された場合では、色の印象が大き く異なるといった問題もある。しかし、特定の一面からのパース図のみでは、自身が 見たい方向からの景観を自由に見るといったことはできない。また、仮想空間上にお ける CG のみでは、直感的かつ具体的に実際の周囲の風景との調和を図ることは困難 である。 一方で、拡張現実感技術を用いた仮想建築物の可視化に関する研究が行われてい る[2][7][8][9]。この技術を利用することで、完成後の住宅があたかも現実空間に存在し ているかのように投影することができる。これによって、直感的かつ具体的に完成後 の住宅と周囲の風景との調和を把握できるようになる。

2.1.2

拡張現実感技術とは

拡張現実感（AR:Augmented Reality）技術とは、現実空間と仮想空間を融合した複 合現実感（MR:Mixed Reality）の一種のことで、カメラで撮影された実世界の映像に、 コンピュータで生成した文字や図形などの実際には目に見えない仮想情報を重ね合わせ て表示することで、現実空間の情報を「拡張」する技術のことである[1][10]。コンピュー タで生成された画像は、ヘッドマウントディスプレイ (HMD:Head Mounted Display) や、携帯可能な小型ディスプレイ、PDA(Personal Digital Assistants) やタブレット PC、 プロジェクタなどを利用してユーザに提示される。図 2.1 は拡張現実感技術を用いて、 実在する机の付近に、CG によるランプと 2 つの椅子を重畳表示している例である[1]。 図 2.1: 拡張現実感技術の例[1] 拡張現実感を実現するための要素技術として以下の 4 つが挙げられる。 • ディスプレイ技術 • トラッキング技術 • レジストレーション技術 • キャリブレーション技術 それぞれの要素技術について以下に説明する。 ディスプレイ技術 ディスプレイ技術とは、ユーザに実世界の映像とコンピュータで生 成した物体や情報を合成した映像を提示する技術のことである。ディスプレイデバイ スは大きく分けて、プロジェクション型ディスプレイ、ヘッドマウントディスプレイ、

ハンドヘルドディスプレイの 3 つに分類される。各デバイスには利点と欠点があり、拡 張現実感を用いる環境に応じて適したディスプレイデバイスを選定する必要がある。 トラッキング技術 拡張現実感では、実世界の映像に対して、意図した位置にコンピュー タで生成した仮想情報を重畳表示する必要がある。このとき、ユーザの視点が移動し て実世界の映像が変化しても、その変化に追従して現実空間の意図した位置に常に正 しく仮想情報を重畳表示しなければならない。そのため、仮想情報を重畳表示させる 周囲の実物体とユーザの視点位置との相対位置関係をリアルタイムで計測し、ユーザ の動きに合わせて表示位置を変更する。このユーザの視点の位置や方向をリアルタイ ムで計測する技術がトラッキング技術である。トラッキング技術は拡張現実感技術の キーテクノロジーであり、これまでに多くの手法が研究・開発されている[11]。これら の手法にはそれぞれ長所と短所があり、拡張現実感を使用する環境に応じて適した手 法を選定しなければならない。 レジストレーション技術 レジストレーション技術とは、トラッキングによって得ら れたユーザの視点の位置と方向から、コンピュータで生成した仮想情報を現実空間の 意図した位置へ表示する、その表示位置合わせ技術のことである。位置合わせの際に は誤差が生じ、静的な誤差と動的な誤差に分けられる。静的なものはトラッキング時 の計測誤差や映像表示時の表示位置誤差等、動的な誤差はトラッキング、画像合成、画 像表示における遅延等が原因で生じる。 キャリブレーション技術 キャリブレーション技術とは、主にディスプレイデバイス として光学シースルー HMD を用いた場合に必要な技術である。光学シースルー HMD とは、眼鏡のような透過型のディスプレイを用いて、ディスプレイ越しに見える実世 界の映像に対して、ディスプレイ上に情報を表示し、重ね合わせるものである。光学 シースルー HMD を使用する場合には、ユーザの顔面の形状や眼球の構造などによっ て、それぞれ微妙に視界やオフセット位置が異なる。そこで、意図する位置に仮想情 報を正しく表示するためには、そのユーザ個人の特性を計測し、それに基づいて仮想 情報の表示位置や大きさを調整しなければならない。これをキャリブレーションと言 い、ユーザが HMD を装着する度に行う必要があるため、その精度だけでなく簡単に 実施できる方法が望まれる。

以上、拡張現実感における要素技術を説明した。拡張現実感技術を利用して実用的 なシステムを構築するにあたっては、インタフェース開発とトラッキング技術開発の 2 点が主要な課題として挙げられる[1]_{。そこで 2.1.3 項、2.1.4 項では、ユーザが直接触} れるインタフェースであり環境に応じてデバイスを変更する必要があるディスプレイ 技術と、同じく環境に応じて手法を変更しなければならないトラッキング技術につい てさらに詳しく紹介し、本研究で想定する屋外環境に適したディスプレイデバイスと トラッキング手法を考察する。

2.1.3

ディスプレイ技術

2.1.2 項で述べたように、拡張現実感における視覚情報の提示手法は以下の 3 つに大 別される。 • プロジェクション型ディスプレイ • ヘッドマウントディスプレイ • ハンドヘルドディスプレイ 以下にそれぞれのディスプレイの特徴を述べ、本研究で用いるのに適したディスプ レイを選定する。また、それぞれのタイプの長所と短所を表 2.1、表 2.2 にまとめる。 プロジェクション型ディスプレイ 現実空間に対してプロジェクタを用いて仮想情報 を直接投影する手法と、カメラで撮影した映像に対して仮想情報を重畳表示した映像 をスクリーンに投影する手法がある。これらは多人数で同時に拡張現実感を体験する ことができる。前者の手法では、プロジェクタを環境中に固定するタイプと図 2.2 のよ うにユーザが装着するタイプがある[12]。これは投影面に直接映像を投影することで高 い融合感が得られる。しかし、屋外の太陽光環境下のように明るい環境では使用でき ない。後者の手法を屋外で用いる場合は、テントなどを用いて暗い環境を作り、その 環境中で映像をスクリーンに投影する。しかし、ユーザ一人一人が自由に視点を動か すことはできず、臨場感があるとは言えない。 ヘッドマウントディスプレイ 図 2.3 に示すような頭に装着するタイプのディスプレ イである。ディスプレイが目に近いため、高い没入感が得られる。HMD はさらに光学 シースルー HMD とビデオシースルー HMD の 2 種類に分類される。光学シースルー

図 2.2: プロジェクション型ディスプレイ[12] HMD は、透過型のディスプレイであるためユーザの視界を遮らず、実際にユーザに見 えている視界に対して仮想情報を重畳表示する。そのため、現実空間を観察するのに 適し、屋外で HMD を装着したまま動き回るような場合に安全である。しかし、現実 空間の映像が高解像度・無遅延であるのに対し、仮想空間の映像は解像度がディスプ レイ依存・表示に遅延があることから、画質の整合性が低い。また現実空間の情報を 遮断できないため実際に存在する物体を画像処理によって見えなくするなどの処理が できないことが欠点として挙げられる。さらに 2.1.2 項で述べた通り、装着するたびに キャリブレーションを行う必要があり、煩雑である。ビデオシースルー HMD は、ユー ザの視界を遮る遮蔽型のディスプレイであり、カメラで撮影した映像を現実空間の映 像としてディスプレイに表示する。そのため、実世界と仮想情報の映像合成が柔軟に 行うことができ、現実空間と仮想空間の画質の整合性が高い。また、現実空間の映像 に対して画像処理を行うことができるため、実在の物体を隠すといった仮想情報との 正しい遮蔽関係の提示が可能である。しかし、カメラが実世界を見る視点となるため、 肉眼の場合と視点位置が異なること、システムトラブル時にはユーザの一切の視界が 奪われてしまう危険があることなどが欠点である。 ハンドヘルドディスプレイ 図 2.4 に示すような PDA やタブレット PC といった、手 に持つタイプのディスプレイである。これは小型で軽量であり携帯性に優れている。ま た、画面に情報を出力するだけでなく、スタイラスペンやボタンによるユーザの入力 を受け付けることもできる。さらに同一の画面を複数人で見ることもできる。しかし、 屋外の太陽光環境下では液晶画面は見づらくなる。また小型のものは画面が小さく、画 面の大きいデバイスではその分重量が増して携帯に向かなくなる。加えて、小型の画 面の小さいディスプレイでは、視野が狭くなるといった欠点がある。 以上のことから、本研究のように屋外においてある程度の広さの視野を必要とする

図 2.3: ヘッドマウントディスプレイ

表 2.1: 各ディスプレイの長所 ディスプレイ 長所 プロジェクション型ディスプレイ 同時に多人数で体験できる。 光学シースルー HMD ディスプレイが眼に近く、広く見えるために 没入感が高い。 ユーザの視界を遮らないため、現実空間を観 察するのに適している。 ビデオシースルー HMD ディスプレイが眼に近く、広く見えるために 没入感が高い。 実世界と仮想情報の映像合成が柔軟に行える。 現実空間と仮想情報との正しい遮蔽関係の提 示が可能である。 ハンドヘルドディスプレイ ユーザが見る方向を変えるだけでデバイスの 使用・不使用を瞬時に切り替えられる。 画面を出力するだけでなく、スタイラスペン やボタン操作によるユーザの入力を受け付け ることができる。

表 2.2: 各ディスプレイの短所 ディスプレイ 短所 プロジェクション型ディスプレイ 屋外の太陽光環境下では使用できない。 暗室を設置して使用する場合、臨場感が無い。 光学シースルー HMD 現実空間と仮想情報との正しい遮蔽関係の提 示が困難である。 HMD を装着する度にキャリブレーションを 行う必要がある。 ビデオシースルー HMD 肉眼の場合と視点位置が異なる。 システムトラブル時にはユーザの視界が奪わ れてしまう。 ハンドヘルドディスプレイ 屋外の太陽光環境下では画面が見づらい。 両手が必要な作業をするときには手で持って 利用できない。 拡張現実感を利用する場合、映像提示デバイスとしてヘッドマウントディスプレイを 用いるのが良い。特に本研究では仮想情報として住宅の 3DCG を使用するため、現実 空間と仮想情報との正しい遮蔽関係の提示が可能で、キャリブレーションの手間が無 く手軽に使用できるビデオシースルー HMD を用いる。ただし、HMD を装着したまま 何らかの操作を行うことは困難であると考えられるので、システム上で何かを操作す る場合にはハンドヘルドディスプレイを用いる。

2.1.4

トラッキング技術

トラッキング技術はこれまでに多くの手法が研究・開発されている[11]。以下ではそ れらの手法の内、よく用いられるものを紹介する。また、各トラッキング手法の長所 と短所を表 2.3 と表 2.4 にまとめる。 ビジョンセンサによるトラッキング ビジョンセンサとはカメラのことで、カメラで 撮影した画像を解析し、得られた特徴点を追跡することによってユーザの位置を推定 する方法である。特徴点として人工マーカを用いる人工マーカ法と、予め環境に存在 するものの特徴点を抽出して用いる自然特徴点法に大別できる。

人工マーカ法の場合、あらかじめ拡張現実感を用いる環境中に人工マーカを設置し、 さらにその 3 次元座標を計測しておく。そして、このマーカをカメラで撮影し、得ら れた画像に画像処理を行い、人工マーカを抽出する。計測しておいた人工マーカの現 実空間での 3 次元位置とカメラ画像内の 2 次元位置を基に、カメラの 3 次元位置と向き を計測する[13]ことでトラッキングを行う。この手法はこれまでに数多くの研究がなさ れ、精度・安定性が高い手法である。また、人工マーカを複数用いることでより精度 や安定性を高める手法も開発されている[14]。人工マーカがカメラに写っていない場合 はトラッキングができないため、広範囲で使用するためには多数の人工マーカを設置 する必要がある。 自然特徴点法の場合、3 次元位置が既知の自然特徴点 (カメラ画像中の直線や角) を 用いてトラッキングを行っている間にカメラ画像に写った新しい自然特徴点の 3 次元 位置を推定し、その結果を後のトラッキングに用いる[15]。この手法では環境中に新た な機器を設置する必要がなく、広範囲で使用することができるが、ノイズの影響を避 けるために複雑な計算が必要になり、計算負荷が高くなる。また、時間経過とともに 照度が大きく変化するような環境では安定性が低いという問題もある。 慣性センサによるトラッキング 加速度センサやジャイロセンサを用いてトラッキン グを行う手法である。加速度センサは微小時間ごとのユーザの位置の変化を計測する ことができ、ジャイロセンサはユーザの姿勢や向きの変化を計測できる。これらの値 を用いることで、計測開始時の位置・姿勢からのユーザの動きを追跡することができ、 現在の位置・姿勢を推定することができる。ただし、これらのセンサで計測できるの は前回計測した時点からの変化量であり、常に相対的な位置・姿勢しか求めることがで きず、絶対的な位置・姿勢を求めるには、別のトラッキング手法を用いて計測開始時の ユーザの絶対位置・姿勢を得る必要がある。また、長時間の使用では誤差の蓄積が大 きくなるという問題もある。従って、これらセンサを単体で用いるのではなく、加速 度センサとカメラ画像を併用したり[16]、ジャイロセンサとカメラ画像を併用したり[17] するなど、他のトラッキング手法の補助として利用されることが多い。 GPS によるトラッキング GPS 衛星からの電波信号を受信し経度・緯度情報を得る手 法である[18]。電波の良好な状態であれば 10 cm オーダーの精度が得られる。しかし、 場所によっては誤差が数 m から 10 数 m 程度になることもある。屋外であればどこで も使用できるが、高精度の情報を得るためには高価な機器が必要であり、情報取得の ための時間も長くなる。

磁気センサ・超音波センサによるトラッキング 磁気センサ・超音波センサは、どちら もユーザの位置・姿勢角を絶対的に測定するセンサである。磁気センサはトランスミッ タから発生する磁気をセンサで検出することによって、6 自由度で位置・姿勢角を計測 する[19]。安定した磁場内では比較的精度が高く、例えば POLHEMUS 社の FASTRAK の場合、計測精度は位置が 0.8 mm、角度が 0.15 度と高精度である[20]。ただし、トラン スミッタが発生させる磁場内でしか利用できないため、狭い範囲でしか利用できない。 超音波センサは送波器から超音波を対象物に向け発信し、その反射波を受波器で受 信することで、発信から受信までに要した時間から対象物の有無や対象物までの距離 を検出する。また、送波器と受波器間を通過する物体によって生じる超音波の減衰も しくは遮断を検出することにより対象物の有無を検出するタイプもある。ただし、周 囲の環境が安定しない屋外においては、安定した計測は難しい。 表 2.3: 各トラッキング技術の長所 トラッキング手法 長所 人工マーカ 高精度で安定したトラッキングが可能である 必要な機材が視界画像を撮影するカメラと画像処理を行うコ ンピュータだけであり、また人工マーカも紙や木などの安価 な物を利用できるため、コストが低い 人工マーカを正確に認識できる近距離では、比較的精度が高 い 自然特徴点 環境から自然特徴点を抽出するため、周囲に機器を設置する 必要がない 周辺環境の情報 (自然特徴点の 3 次元位置) を順次取得してい くため、広範囲で利用できる 慣性センサ ユーザの動きを直接計測するため、環境に手を加える必要が ない 計算負荷が低く、リアルタイム性が高い GPS カーナビなどで利用実績があり、安定したトラッキングが可 能である 屋外であればどこでも利用できる 磁気センサ 安定した磁場内では比較的精度が高い 超音波センサ 同じ室内であれば比較的広い範囲で精度よく計測できる

表 2.4: 各トラッキング技術の短所 トラッキング手法 短所 人工マーカ 人工マーカが写っていない時は利用できないため、大量の人 工マーカを貼付する必要がある 精度は画像の解像度に依存するため、精度を上げるには高解 像度の画像処理が必要になる 自然特徴点 ノイズの影響を避けるために複雑な計算が必要になるため、 計算負荷が高い 複数画像間の特徴点同士を対応付けるのが困難であり、トラッ キングに大きな乱れが生じることがある 精度は画像の解像度に依存するため、精度を上げるには高解 像度の画像処理が必要になる 慣性センサ センサのドリフト成分に起因する誤差を生じやすい 積分計算の際に、誤差が蓄積しやすい 得られる値は前回計測時からの変化分であり、絶対位置・姿 勢を得るには初期値が必要になる GPS 電波が届きにくいため、屋内環境で利用できない 高い精度の情報を得るには時間がかかる 磁気センサ 環境内に新たに機器を設置する必要がある 金属や電子機器など磁場を乱す要因があれば計測結果に歪み が生じる トランスミッタの発生する磁場内でしか利用できないため、 狭い範囲でしか利用できない 超音波センサ 環境内に新たに機器を設置する必要がある 周囲の環境に影響されやすい

以上に紹介したトラッキング手法の中で、本研究では特に人工マーカ法を用いる。 GPS を用いた手法では、慣性センサや方位センサ、歩数計などを併用しなければなら ないため、誤差を生じやすく、また機器が複雑・高価なものになってしまう。磁気セン サや超音波センサを用いた手法では、拡張現実感を使用する環境内に新たに機器を設 置する必要があり、拡張現実感を様々な場所で用いたい場合には煩雑である。さらに 拡張現実感を使用できる空間が狭く制限され、また外乱による影響を大きく受けるた め、金属の有無や風などの環境を完全にコントロールできない場合には適さない。自 然特徴点を用いた手法では、複数画像間の特徴点同士を対応付けるのが困難であるた め、カメラが一度に大きく動いた場合などにはトラッキングができなくなる恐れがあ る。これらに対して、人工マーカを用いた手法は、環境中にマーカを設置しなければ ならないが、精度が高く、低コストであり、携帯性もよく、使用するマーカの数を増や すことで可動範囲を広くすることも容易である。 人工マーカ法では、加藤らが開発した ARToolKit[13]に代表される正方形のマーカが 使われることが多い[13, 21, 22, 23]。ARToolKit では、図 2.5 に示すような正方形の人工 マーカの 4 頂点を特徴点として位置情報をあらかじめ計測しておき、それを基にトラッ キングを行う。ARToolKit は正方形マーカを使ったトラッキング手法の中でも処理が 速く、精度も比較的高い[24]。

hiro

図 2.5: ARToolKit のマーカ ただし、人工マーカを用いる場合、カメラと人工マーカの距離はある程度近い必要 がある。これは、カメラ画像内である程度の大きさでマーカが撮影されなければマー カとして抽出できないためである。逆に、遠距離にある人工マーカを利用してトラッ キングを実現しようとすると、人工マーカを大きくする必要がある。 一方で、人工マーカを用いたトラッキング手法としては、図 2.6 に示す円形のマーカ

を用いた手法[25]も提案されている。この手法では、大円の中心と 4 つの小円の中心の 計 5 カ所を特徴点として、3 次元位置情報を計測しておく。通常はマーカとして認識に 成功した 3 個の円形マーカからそれぞれ大円の中心の特徴点を抽出してトラッキング を行う。円形マーカは円を基本としてデザインされているために、遠距離から撮影す ることにより解像度が低くなる場合や、カメラのフォーカスが合っていないために映 像がぼやける場合でも、中心を正確に認識できるという特徴を持っている。また、カ メラ画像内に円形マーカが 1 つしか映らないような近距離からの撮影であっても、4 つ の小円の中心を特徴点として用いてトラッキングを行うことが可能である。円形マー カを用いたトラッキング手法のアルゴリズムを付録 A に示す。 図 2.6: 円形マーカ 本研究では、個人住宅という大きな空間において拡張現実感を利用するため、必然 的にマーカと人工マーカの距離が遠くなる。そのため遠距離からでもマーカの認識が しやすい円形マーカを用いる。また、安定したトラッキングを行うためには、各特徴 点間がある程度離れていた方がよいため、1 つのマーカから 4 つの特徴点を抽出して用 いる正方形マーカに比べて、複数のマーカから 1 つずつ特徴点を抽出して用いる円形 マーカの方が、小さいマーカで拡張現実感を実現できる。 人工マーカを用いる場合、広範囲でトラッキングを行うためには、多数のマーカを 環境内に設置し、個々のマーカの 3 次元位置を計測しなければならい。その計測はこ れまで手作業で行われていたため、拡張現実感技術の使用場所が頻繁に変わるような アプリケーションでは、事前準備が煩雑であるとされてきた。この問題を解決するた め、楊らはマーカの 3 次元位置自動計測システム（MAMS:Marker Auto-Measurement System）を開発した[26]_{。MAMS を用いることで、マーカが多数であっても容易に全}

てのマーカの 3 次元位置を計測できるようになった。 しかし、MAMS は屋内で使用することを想定して開発している。本研究のように屋 外で拡張現実感を使用する際には、マーカ・カメラ間の距離が遠くなる、太陽光によっ て高照度環境となるなど、屋内とは環境が大きく異なってくる。そのため、屋外では MAMS によるマーカの 3 次元位置自動計測やトラッキングが安定して行えないという 問題があり、改良を行わなければならない。

2.1.5

関連研究

本項では拡張現実感技術を利用した景観シミュレーションに関連する既存研究を紹 介する。 天目らは、世界各地の遺跡や寺院のような広い敷地内にまばらに観光スポットが点 在している屋外の観光地において、ユーザの位置・姿勢に応じた道案内や音声・映像 による観光案内、さらに観光スポットにおいて建物跡に CG で復元した建物を重畳表 示する、拡張現実感を利用したウェアラブル観光案内システム「平城宮跡ナビ」を提 案している[2]。平城京跡ナビの機器構成を図 2.7 に示す。このシステムでは、GPS に よる絶対位置計測と歩数計測を利用した相対移動量の統合によりユーザの位置を計測、 ヘッドセットに装着されたジャイロセンサを用いてユーザの姿勢を計測することでト ラッキングを行う。また、建築物の重畳表示の際には、建物跡の付近に RFID タグや赤 外線ビーコン (IrDA) 等の環境埋込み型センサを設置し、センサに記憶させた位置情報 をユーザが装着する機器を利用して読み込みことで、1 メートル以内の計測誤差でユー ザの絶対位置の特定を実現している。重畳表示された映像はビデオシースルー HMD を 介してユーザに提示される。図 2.8 に平城京跡ナビによる仮想建築物を重畳表示してい る様子を示す。 角田らは、飛鳥京跡の当時の姿を CG で復元し、MR システムを用いて現在の景観 上に合成表示する MR コンテンツ、「バーチャル飛鳥京」を提案している[7]。図 2.9 に バーチャル飛鳥京の機器構成を示す。このシステムでは 6 自由度磁気センサによりト ラッキングを行い、合成映像の提示はビデオシースルー HMD を用いて行われる。図 2.10 にバーチャル飛鳥京による仮想建築物を重畳表示している様子を示す。バーチャ ル飛鳥京では、影付け平面による影付け手法を用いることにより、屋外における実時 間での高い光学的整合性を実現し、より現実感の高い合成画像を生成している。 M.Sareika らは、街の建築物のデザイン変更におけるコンセプト段階で、建築家や市 民・建築物の所有者達の意見を統一し、相互理解を達成するために、「Urban Sketcher」

図 2.7: 平城京跡ナビの機器構成[2]

図 2.9: バーチャル飛鳥京の機器構成[7]

を開発した。Urban Sketcher の機器構成を図 2.11 に示す。このシステムは屋外にテン トを建てて暗室を作り、その中でプロジェクタを用いて拡張現実感を映し出し、多人 数で拡張現実感を体験する。パン・チルト方向に運動可能な電動雲台上に固定された ビデオカメラを環境中に設置し、これによって撮影された映像を現実空間の映像とし てテント内のスクリーンに投影する。重畳表示する仮想情報は、スクリーン上で行う スケッチであり、このスケッチの動きは 6 自由度で計測され、スクリーン上に反映され る。スケッチの重畳表示の様子を図 2.12 に示す。複数のスケッチの重ね合わせや、現 実空間とスケッチの遮蔽関係の表現も実現している。 図 2.11: Urban Sketcher の機器構成[9] 上記で紹介した平城京跡ナビやバーチャル飛鳥京では、既存の 3DCG モデルをただ 表示させるだけのシステムであり、ユーザが自らのイメージを投影できるシステムで はない。Urban Sketcher では、スケッチという形で自らのイメージを投影できるが、シ ステムの目的がデザインのコンセプト段階での意思疎通であるので、このシステムで は建築業者側とオーナー側での明確な住宅デザインのイメージの共有は難しい。また、 平城京跡ナビやバーチャル飛鳥京ではユーザを一人と想定しているため、拡張現実感 の映像はユーザの視界と同期しているが、Urban Sketcher では多人数での使用を想定 しているため、拡張現実感の視点は環境中に設置されたカメラのものである。多人数に よる使用の場合では、ユーザ一人一人が自由に視点を変更することはできないし、定

点カメラによる映像のみでは視点の自由度に乏しいといえる。

2.2

研究の目的と意義

そこで本研究では、拡張現実感技術を利用し、実際の住宅を新築・改築する現場に、 完成後の住宅の 3DCG モデルを重畳表示し、さらにユーザがその住宅や庭の 3DCG モ デルを自由にその場で変更できる、住宅景観シミュレーションシステムを開発するこ とを目的とする。また、本システムを安価で手軽に利用できるシステムとするため、本 システムでは人工マーカ法によるトラッキングを利用する。 人工マーカ法はロバスト性が低く屋内での使用が主である。人工マーカ法のロバス ト性を高め、屋外で使用できるようにするため本研究ではまず、屋外において安定し たトラッキングやマーカの 3 次元位置の自動計測ができるように MAMS を改良する。 その後、住宅景観シミュレーションシステムを開発する。 本研究によって得られる成果は、拡張現実感技術の屋外での使用を簡単で容易なも のとするため、拡張現実感技術を屋外での様々なアプリケーションへ適用することが 可能となる。また開発した住宅景観シミュレーションシステムを用いることで、住宅 の外観の周囲環境との調和をより直感的な形で把握できるようになり、さらにユーザ のイメージにそぐわない部分を編集することで、よりイメージ通りの住宅建設ができ るようになることが期待される。

第

3

章

マーカの

3

次元位置自動計測システムの

改良と評価

第 2 章では、環境中に配置した人工マーカの 3 次元位置を自動的に計測する、マー カの 3 次元位置自動計測システム (MAMS) が、開発時に想定していた使用環境の違い から、そのままでは屋外では使用できないことを述べた。本章では、屋外での MAMS の使用や安定したトラッキングを行うために施した改良について述べる。

3.1

屋外におけるマーカの

3

次元位置自動計測の問題点

3.1.1

予想される問題点

本項では屋外で MAMS を使用したりトラッキングを行ったりする際に考えられる問 題点を挙げる。そのためにまず、MAMS について説明する。

図 3.1 に MAMS の外観を、図 3.2 に MAMS のハードウェア構成を示す。MAMS は ビデオカメラ、レーザ距離計測器、電動雲台、制御用パソコンから構成される。レー ザ距離計測器は電動雲台上に固定されており、ビデオカメラと電動雲台は制御用パソ コンによってパン・チルト方向に向きを変えることができる。 MAMS では、まずビデオカメラで撮影した画像を制御用パソコンに取り込み、画像 処理により環境に貼付した円形マーカの ID とおおまかな位置を認識する。認識した マーカの中から 3 次元位置を測定するマーカを選択し、ビデオカメラをそのマーカの 方向に向け、カメラ画像上で選択したマーカの全体像が大きく写るようズームして撮 影する。その画像から画像処理によりマーカの特徴点（円形マーカの中心点）を検出 する。その後、ビデオカメラがマーカを認識した際に得たおおまかなマーカの位置情 報をもとに、レーザ距離計測器のレーザをそのマーカの特徴点付近に照射し、画像処 理によってレーザ照射位置と特徴点の位置のずれを計測する。そして図 3.3 に示すよ うに、これらが合致するように電動雲台を操作してレーザ照射位置を調整し、電動雲 台のパン・チルト方向の値とレーザ距離計測の結果を用いて、マーカの 3 次元位置を 計測する。レーザ照射位置が画像上で認識できない場合は、図 3.4 に示すように、最初 に照射したレーザ照射位置を中心に、渦を描くようにレーザ照射位置をずらしていき、

レーザ照射位置の認識を試みる。一定回数レーザ照射位置をずらしても照射位置を認 識できなかった場合には、そのマーカの 3 次元位置計測は失敗となる。マーカの中心点 の計測に成功すれば、続いて四隅の小円の位置情報を計測する。ただし実際には、小 円と大円の中間点を計測している。 このアルゴリズムが自動的に行われ、マーカの 3 次元位置が計測されるためには、 レーザの照射位置をシステムが自動的に認識できるかどうかが重要なポイントとなる。

ビデオカメラ

ビデオカメラ

ビデオカメラ

ビデオカメラ

レーザ

レーザ

レーザ

レーザ距離

距離

距離

距離

計測器

計測器

計測器

計測器

電動雲台

電動雲台

電動雲台

電動雲台

制御用

制御用

制御用

制御用

パソコン

パソコン

パソコン

パソコン

USBビデオキャプチャ

ビデオキャプチャ

ビデオキャプチャ

ビデオキャプチャ

三脚

三脚

三脚

三脚

ビデオカメラ

ビデオカメラ

ビデオカメラ

ビデオカメラ

レーザ

レーザ

レーザ

レーザ距離

距離

距離

距離

計測器

計測器

計測器

計測器

電動雲台

電動雲台

電動雲台

電動雲台

制御用

制御用

制御用

制御用

パソコン

パソコン

パソコン

パソコン

USBビデオキャプチャ

ビデオキャプチャ

ビデオキャプチャ

ビデオキャプチャ

三脚

三脚

三脚

三脚

図 3.1: MAMS の外観 ところで、日本の都市部における持ち家の 1 住宅あたりの平均敷地面積は、140m2∼ 200m2_{程度である}[27]_{。そのため、住宅景観シミュレーションシステムのための拡張現} 実感におけるトラッキングでは、住宅の全体像を見渡すことを考えた場合、図 3.5 に示 すように、マーカとカメラの距離が 10m∼15m 程度の遠距離となる。このような遠距 離であってもマーカがカメラで認識できるようにするには、マーカのサイズを大きく しなければならない。 トラッキングのみを考えた場合、全てのマーカを遠距離に設置するのではなく、図

USBCAP2 USBキャプチャ 電源 USB serial USB HUB USB serial USB serial IN VISCA S-VIDEO 電源 制御用 制御用制御用 制御用パソコンパソコンパソコンパソコン ビデオカメラ レーザ距離計測器 駆動雲台 図 3.2: MAMS のハードウェア構成 レーザ光 図 3.3: レーザ照射位置を特徴点に合わせる過程

図 3.4: レーザ照射位置の探索

住宅敷地

道路

140㎡～200㎡

10m

～

_15m

10m

～

15m

図 3.5: 住宅景観シミュレーションシステムにおけるマーカの配置

3.6 に示すように、ユーザの立ち位置に応じてカメラから近い場所にマーカを置くこと で小さいマーカでもトラッキングが可能となるが、この場合には遠方のマーカをカメ ラで認識することができないので、自動計測は計測器の設置場所を変えながら複数回 行う必要があり、煩雑になってしまう。

住宅敷地

道路

140㎡～200㎡

10m

～

_15m

10m

～

15m

小さすぎて 遠くからは 見えない 図 3.6: 小さいマーカを用いる場合のマーカの配置 そこで本研究では、遠距離からでも認識可能な大きなマーカを用いることとする。 ここで、屋外で大きなマーカに対し MAMS を使用した際に、自動計測の妨げになる と考えられる要因を以下に挙げる。 問題点 1 現在の MAMS のアルゴリズムでは、レーザの照射位置を認識するためにカメ ラをズームする際に、カメラにマーカの全体が写っている必要があるため、マー カのサイズが大きくなると、図 3.7 に示すようにカメラ画像上でのレーザ光が相 対的に小さくなり、レーザの照射位置を認識できない。 問題点 2 太陽光の環境下では、太陽光がマーカに強く反射し、図 3.8 のようにカメラ 画像ではマーカが全体的に白く写ってしまい、マーカとして認識できない。これ はトラッキングにおいても問題となる。

問題点 3 太陽光の環境下など、照度が非常に高い環境では、図 3.9 に示すようにレー ザ光が相対的に弱くなるため、レーザの照射位置を認識できない。 これらの問題点が原因で、屋外でのマーカの 3 次元位置自動計測は失敗する確率が 高いと考えられる。

レーザ光

カメラ画像中では

レーザ光が相対的に小さくなる

レーザ光

図 3.7: 問題点 1:マーカが大きいと相対的にレーザ光が小さくなる

3.1.2

問題点の確認

3.1.1 項で述べた問題点 1 に関して、実験によりどの程度の大きさのマーカまでなら 自動計測が可能であるのかを調べた。

マーカが全体的に白っぽく写ってしまう

図 3.8: 問題点 2:屋外では太陽光の反射が強くマーカが認識できない

レーザ光が相対的に弱くなる

レーザ光

実験を行った際のマーカと計測機器の配置を図 3.10 に示す。実験は室内で行い、マー カは紙に黒のインクで印刷した。マーカと MAMS の距離は 8m とした。マーカの面照 度は 300Lux 程度であった。マーカ 1 は MAMS に対してマーカが正面を向く位置に配 置し、マーカ 2 は MAMS に対して斜め 45◦に向く位置に配置した。各マーカの半径は、 15.0cm から 22.5cm まで 2.5cm 間隔で変化させた。各マーカ半径毎に 5 試行づつ MAMS を用いてマーカ位置の自動計測を行った。 結果を表 3.1 に示す。○は全ての特徴点の計測に成功したことを示し、△は大円の中 心点の計測には成功したが小円の計測には失敗したことを示す。×は大円の中心点の 計測に失敗したことを示す。なお、自動計測開始から 120 秒経過しても一度もレーザ 距離計測器のレーザ照射位置を認識できない場合には計測に失敗したとみなした。

8m

MAMS

マーカ

1

(

正面

)

マーカ

1

(

正面

)

マーカ

2

(

斜め

マーカ

45

2

°

)

(

斜め

45

°

)

図 3.10: 大きいマーカの計測実験の実験環境 半径 15.0cm のマーカでは、マーカが MAMS に対して正面を向いている場合にはほ ぼ失敗せずに自動計測が可能であるといえる。しかしマーカが MAMS に対して斜めを 向いている場合には、計測はできなかった。これはマーカがカメラに対して斜めを向 いているため、レーザ距離計測器から照射したレーザ光がカメラ方向に十分に反射せ ず、カメラ画像上でのレーザ光が弱まり、レーザ照射位置を認識できなかったと考え られる。また、半径 17.5cm 以上のマーカになるとマーカが MAMS に対して正面を向 いている場合でも、安定した計測はできなかった。これはカメラ画像上でレーザの光

表 3.1: 問題点 1 の確認実験の結果 マーカ半径（cm） マーカ 計測の成否 計測時間（s） 15.0 1 ○ 85.3 △ 52.6 ○ 55.9 ○ 98.0 ○ 60.4 2 × 120.0 △ 73.3 × 120.0 × 120.0 × 120.0 17.5 1 × 120.0 △ 50.9 × 120.0 △ 36.2 ○ 178.2 2 × 120.0 × 120.0 × 120.0 × 120.0 × 120.0 20.0 1 × 120.0 × 120.0 × 120.0 △ 148.7 × 120.0 2 × 120.0 × 120.0 × 120.0 × 120.0 × 120.0 22.5 1 × 120.0 × 120.0 × 120.0 × 120.0 × 120.0 2 × 120.0 × 120.0 × 120.0 × 120.0 × 120.0

点が小さくなりすぎ、レーザ照射位置が認識できなくなったと考えられる。この実験 の結果から、半径 17.5cm を超える大きさのマーカでは自動計測が安定して行えなくな ることがわかった。

3.2

本研究で用いるマーカの大きさの検討

本節では、住宅景観シミュレーションシステムにおいて想定する、遠距離からのト ラッキングを行うために必要なマーカの大きさを求める。

本研究ではトラッキング用のカメラとして、Point Grey Research 社製の Dragonfly を用いる。このカメラの CCD は 4.65µm×4.65µm の大きさのユニットセルが 1024×768 ピクセル集まって構成されている。また、カメラレンズについては、焦点距離 4mm、 6mm、8mm のものが使用できる。焦点距離が短いカメラレンズほど画角が広く、広範 囲を撮影できるが、その分画像上での対象物の大きさは小さくなるため、より大きな マーカが必要となる。本研究では、住宅という大きな空間を見渡す必要があるため、焦 点距離 8mm のレンズでは画角が狭すぎ、広い空間を撮影することには適さないので、 本研究では焦点距離 4mm 及び 6mm のレンズを使用する。 図 3.11 に CCD のスクリーンと撮影される画像の関係を示す。図中の長方形 ABCD が CCD のスクリーンであり、辺 AB が 768pix(=3.5712mm)、辺 BC が 1024pix(=4.7616mm) である。また、カメラレンズの種類ごとの詳細な焦点距離 f と画角を表 3.2 に示す。水 平方向の画角を h、垂直方向の画角を v 、対角線方向の画角を d で表す。焦点距離を f = |F F0_{| mm、撮影距離を t = |F O| m とおき、スクリーン上に写ったマーカの直径} を r pix とすると、実際のマーカの大きさ x m は、式 3.1、式 3.2、式 3.3 からそれぞれ 求められる。 x = 0.00465rt/f (3.1) x = 2t tan(h/2) × r/1024 (3.2) x = 2t tan(v/2) × r/768 (3.3) 円形マーカを用いる場合、安定したトラッキングを行うためには、撮影された画像 中のマーカの大きさが直径 35pix 以上必要であることが経験的にわかっている。トラッ キングを行う際のマーカとカメラ間の最大距離を 15m と想定し、本研究で必要なマー カの大きさを算出した。 式 3.1、式 3.2、式 3.3 からそれぞれ算出したマーカの大きさのうち最大のものを採 用すると、マーカから 15m 離れた距離から安定してトラッキングを行うために必要な

r

pix

焦点

A

B

C

D

F

F’

P

Q

R

S

O

x

CCDスクリーン

撮影範囲

焦点距離 f = |FF’|

図 3.11: マーカの大きさの算出 表 3.2: カメラレンズの焦点距離と画角 Focal Length(mm) Angle of View( °)

d(対角線) h(水平) v(垂直)

3.94 70 54 40

マーカの大きさは、焦点距離 4mm のレンズではマーカ半径 39cm 以上、焦点距離 6mm のレンズではマーカ半径 20cm 以上が必要であるという結果になった。半径 39cm 以上 のマーカを環境中に多数設置することは現実的ではないため、本研究ではマーカは半 径 20cm のものを使用し、最大距離からトラッキングする際には 6mm のカメラレンズ を使い、4mm のカメラレンズを用いる場合にはマーカに近づいて使用するものとする。 マーカは壁や三脚を利用して環境中に設置する。 ただし、3.1.2 項の結果から、半径 20cm のマーカを紙で作成してそのまま使用する ことはできないため、工夫が必要である。

3.3

問題点の改善

3.3.1

再帰性反射材を用いてマーカの大きさ問題に対応

大きなマーカが MAMS で自動計測できないのは、カメラ画像上におけるレーザ距離 計測器のレーザ光が小さすぎて認識できないためである。そこで、レーザ光をマーカ から強く反射させ、カメラ画像にレーザの光点を大きく写すため、マーカの白色領域 に白色の再帰性反射材を貼り付けたマーカを作成した。 再帰性反射材とは、図 3.12 に示すように基布に極小のガラスビーズが敷き詰められ た素材である。ガラスビーズに入射した光は表面で屈折し、ガラスビーズ内で反射を 行って、再び表面で屈折し、最終的に入射角と出射角が等しくなり、ガラスビーズから 出る。そのため、再帰性反射材ではあらゆる方向から入射した光に対して、常に入射 した方向に光を反射する。再帰性反射材はその構造の違いから様々な種類があり、ま た布地タイプのものの他にもスプレータイプや塗料タイプのものなどがある。本研究 では特に高い反射率を得るために、布地タイプの再帰性反射材であり、露出レンズ型 のレフライト社製ホワイト 8303 を用いた。 再帰性反射材にレーザ距離計測器のレーザ光を照射すると、肉眼でも確認できるほ どレーザの反射光が強くなった。また、レーザ照射位置認識の画像処理においてもレー ザ光の位置が安定して認識できるようになった。ただし、再帰性反射材に反射したレー ザ光は、反射光が強すぎてレーザ距離計測器で正しく計測できなかった。 そこで、レーザ距離計測器の受光部に偏光性のあるフィルムを貼り、受光するレー ザ光の強度を調節することで、再帰性反射材に対してレーザを照射した場合でも計測 できるよう試みた。フィルムを貼ったことによる距離計測への影響を調べるため、実験 室内にマーカを 1 個固定し、以下の場合についてそれぞれ 10 試行ずつ MAMS で 3 次

基

布

反

射

層

ガ

ラ

ス

ビ

ー

ズ

入

射

光

図 3.12: 再帰性反射のしくみ 元位置を計測した。マーカは半径 15.0cm のものを用いた。 1. レーザ距離計測器・マーカに何も貼らない場合 2. レーザ距離計測器にフィルタを貼りマーカに何も貼らない場合 3. レーザ距離計測器にフィルタ・マーカに再帰性反射材を貼った場合 表 3.3 に計測結果を示す。計測の結果から、レーザ距離計測器の受光部にフィルタを 貼っても、計測結果に誤差を生むことがなく、また再帰性反射材に対してレーザを照 射した場合でも正確に距離を計測できることがわかった。 以上の結果を踏まえ、マーカの白色領域の素材に再帰性反射材を用いたマーカを作 成し、MAMS による自動計測を試みた。以下にその実験について説明する。 実験目的 紙製のものでは自動計測できなかった大きさのマーカを、再帰性反射材を 素材として用いて作成することにより、安定した自動計測ができるかどうか調べる。 実験方法 実験は室内で行った。マーカと計測機器の配置は図 3.10 に示すものと同様 である。マーカと MAMS の距離を 8m とし、マーカは実験室内の壁に固定した。マー カの面照度は 300Lux 程度であった。

表 3.3: フィルタおよび再帰性反射材の有無による計測結果への影響の評価 (単位:mm) 実験条件 マーカの 3 次元位置 X Y Z レーザ距離計測器・マーカに何も -6259.0 -2410.2 506.5 貼らない場合 -6259.9 -2410.6 506.6 -6258.4 -2411.6 506.5 -6260.5 -2409.2 506.6 -6257.4 -2411.2 508.0 -6258.4 -2411.6 506.5 -6260.4 -2409.1 508.1 -6259.0 -2410.2 506.5 -6256.5 -2410.8 507.9 -6257.6 -2411.3 505.0 レーザ距離計測器にフィルタを貼り -6260.5 -2409.2 506.6 マーカに何も貼らない場合 -6260.5 -2409.2 506.6 -6261.4 -2409.5 506.7 -6260.5 -2409.2 506.6 -6257.5 -2411.2 506.5 -6259.1 -2410.2 505.0 -6260.6 -2409.2 505.1 -6259.9 -2410.6 506.6 -6257.5 -2411.2 506.5 -6260.5 -2409.2 506.6 レーザ距離計測器にフィルタ・ -6258.2 -2409.9 505.0 マーカに再帰性反射材を貼った場合 -6259.5 -2408.8 506.5 -6261.0 -2407.7 506.6 -6256.7 -2410.9 504.9 -6256.7 -2410.9 504.9 -6259.5 -2408.8 506.5 -6257.2 -2409.5 504.9 -6258.2 -2409.9 505.0 -6258.7 -2408.5 505.0 -6258.7 -2408.5 505.0

実験条件 白色領域を再帰性反射材を用いて作成したマーカを マーカ 1 MAMS に対してマーカが正面を向く位置 マーカ 2 MAMS に対してマーカが斜め 45◦_{に向く位置} の 2 箇所に配置して自動計測を行った。各マーカの半径は、22.5cm、25.0cm に変化さ せた。 実験手順 まず半径 22.5cm のマーカについて、マーカ 1、マーカ 2 の順でそれぞれ 5 試行ずつ自動計測を行った。次にマーカを半径 25.0cm のものに取り替え、同様に実験 を行った。 実験結果及び考察 実験の結果を表 3.4 に示す。実験の結果から、再帰性反射材を素材 としたマーカであれば、レーザ距離計測器から照射されたレーザ光がマーカに強く反 射することで、カメラ画像中でレーザ照射位置を認識しやすくなるため、マーカが大 きくても安定して MAMS による 3 次元位置自動計測が行えることがわかった。また、 この現象は 3.1.1 項で述べた問題点 3 に対しても効果があると期待できる。

3.3.2

再帰性反射材・フェルトを用いて太陽光環境下に対応

3.1.1 項で述べた問題点 2 を解決するため、マーカの白色領域に白色の再帰性反射材、 黒色領域に黒色の再帰性反射材・黒色のフェルトをそれぞれ用いたマーカを試作した。 再帰性反射材は太陽光を入射方向にそのまま反射するので、カメラ方向への太陽光の 反射を軽減することが期待できる。またフェルトは太陽光を乱反射させるので、同様に カメラ方向への太陽光の反射の軽減が期待できる。どちらのマーカでも期待通りの効 果が得られれば、太陽光環境下でも安定してカメラ画像からマーカを認識することが できるようになる。黒色の再帰性反射材にはレフライト社製ブラック 8318 を使用した。 以下、再帰性反射材やフェルトを用いて作成したマーカの、太陽光環境下における 効果を確かめるため行った実験について述べる。 実験目的 再帰性反射材製マーカ及び再帰性反射材+フェルト製マーカを用いた場合 に、太陽光環境下において安定してカメラ画像からマーカを認識できるかどうか調べ る。本実験において安定したマーカの認識が可能であれば、屋外での MAMS のカメラ によるマーカの認識やトラッキングが安定して行えるようになる。

表 3.4: 再帰性反射材を用いたマーカの自動計測結果 マーカ半径（cm） マーカ 計測の成否 計測時間（s） 22.5 1 ○ 35.9 ○ 45.2 ○ 43.0 ○ 43.7 ○ 42.6 2 ○ 44.1 ○ 42.9 ○ 42.7 ○ 43.0 ○ 42.9 25.0 1 ○ 38.9 ○ 38.6 ○ 45.0 ○ 43.3 ○ 46.9 2 ○ 40.1 ○ 49.2 ○ 41.5 ○ 43.0 ○ 41.4

実験方法 実験は快晴の日に屋外の日向にて行った。実験時の環境を図 3.13 に示す。 カメラは白黒の Dragonfly を用い、焦点距離 6mm のレンズを使用してマーカを撮影し た。カメラとマーカはそれぞれ三脚に固定した。太陽光の入射する向きは、実験中に、 太陽光の水平成分とカメラの撮影画像の平面がなす角度 φ が 40◦から 55◦へ変化した。 マーカの面照度は 1 万∼8 万 Lux であった。100 フレーム連続でマーカの認識に成功し た場合に、マーカを認識できたものとした。 θ マーカ面と水平方向 になす角 太陽光の 水平成分となす角 カメラ マーカ φ 太陽光 マーカ・カメラ間距離 L カメラ画像平面 図 3.13: 屋外でのマーカ認識実験の実験環境 実験条件 半径 20.0cm の紙製マーカ、再帰性反射材製マーカ、再帰性反射材+フェル ト製マーカの 3 種のマーカそれぞれに対して、マーカとカメラ間の距離 L を 9m・12m・ 15m・18m・21m、マーカの面とカメラの撮影画像の平面がなす角度 θ を 0◦_・20◦_・40◦ に変化させながら、カメラでマーカを撮影した。 実験手順 まず、紙製マーカについて θ = 0◦ としマーカ・カメラ間距離 L を 9m か ら順に遠く、続いて θ を 20◦・40◦と変えて同様に実験を行い、さらに再帰性反射材製 マーカについて、その後フェルト製マーカについて同様に実験を行った。 実験結果及び考察 実験の結果を表 3.5 に示す。実験の結果として、 θ = 0◦の場合に は、全てのマーカで 21m までマーカを認識できた。 θ = 20◦の場合は、マーカに反射