評価実験の結果と考察

提案手法，データベース中の全画像を提示した場合，相違度の最大画像を提示 した場合に対するQ1，Q2の結果をボンフェローニ法を用いた多重比較検定によ り算出された有意差の有無とともに図33，図34に示す．図33に示すように，提 案手法によって選択された重畳画像を提示した場合の方が，実在しない塔があた かも存在しているかのように見えるという結果が得られた．これにより，4.2.3項 で述べた仮想物体が違和感なく存在しているように見えるという結果（図28）は，

様々な天候・日時で撮影したデータベースにおいても，同様に言えることが確認 できた．また，図 34に示すように，提案手法で選択した重畳画像を提示した方

表 5 実験環境

日時 被験者数 天候 1回目 2013年12月25日15時頃 5人 晴れ 2回目 2014年01月28日11時頃 5人 晴れ 3回目 2014年01月28日13時頃 4人 晴れ 4回目 2014年02月21日14時頃 5人 曇り 5回目 2014年02月26日17時頃 5人 曇り

が多くのユーザにとって，実際の景観と画面を通してみる景観における照明環境 が類似していることが示唆された．

他方，図 35に，Q1におけるユーザ評価と相違度の関係をヒートマップ図で示 す．この時，相違度は式（2）に示すように2乗されているため，横軸に相違度 の平方根を使用する．提案手法が正しい場合，相違度の平方根の値とユーザ評価 には負の相関がある．図 35に示すように，相違度の平方根の値が小さく，ユー ザ評価の大きい部分に多くの回答が得られた．しかし，図 35では，分布のばら つきが大きい．図 35の分布をより詳細に調査するために，図 36から図 40に，

被験者それぞれのQ1におけるユーザ評価と相違度の関係をヒートマップ図で示 す．図 36(a)や図 37(d)のように負の相関をもつ結果がある一方で，図 36(e)や

図 37(c)のように相関が見られない結果が得られた．

以上から，提案手法を用いて選択した重畳画像を提示することで，従来手法よ りARシステムとしての違和感を持たないことが確認できたが，ユーザに与える ARシステムとしての違和感をより正確に反映するためには，本手法で用いた相 違度以外の要因も考慮する必要があることが示唆された．現在の相違度ではRGB ヒストグラムによる，全方位画像と実環境との色合いの違いを考慮しているが，

草や花々など季節によって変化する実環境の部分的な色合いの変化もユーザに与 えるARシステムとしての違和感に影響していると考えられる．また，仮想物体 を重畳する難易度が照明環境によって異なるため，仮想物体の重畳精度にばらつ きが生じたことも，ユーザに与えるARシステムとしての違和感に影響したので はないかと考えられる．

1 2 3 4 5 6 7

ᥦ᱌ᡭἲ ᚑ᮶ᡭἲ

࣮ࣘࢨホ౯್ࡢᖹᆒ

㸨

ぢ࠼࡞࠸

ぢ࠼ࡿ

㸸ᶆ‽೫ᕪ

ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ p < 0.05

㸨㸸

㸨

┦㐪ᗘ᭱኱ࡢ⏬ീࢆ

ᥦ♧ࡋࡓሙྜ

図 33 提案手法によるARシステムとしての違和感の検証結果 (Q1)

1 2 3 4 5 6 7

࣮ࣘࢨホ౯್ࡢᖹᆒ

㸨

඲ࡃ␗࡞ࡿ

඲ࡃྠࡌ

㸸ᶆ‽೫ᕪ

ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ p < 0.05

㸨㸸

ᥦ᱌ᡭἲ ᚑ᮶ᡭἲ ┦㐪ᗘ᭱኱ࡢ⏬ീࢆ

ᥦ♧ࡋࡓሙྜ

㸨

図 34 実際の景観と画面を通して見る景観との照明条件の比較結果 (Q2)

࣮ࣘࢨホ౯್

Ҁ┦㐪ᗘ

ᅇ⟅⪅ᩘ

図 35 提案手法による相違度とユーザ評価の関係 (Q1)

(a)相関係数：−0.528 (b)相関係数：0.514

(c)相関係数：−0.249 (d)相関係数：0.151

(e)相関係数：0.309

図 36 2013年12月25日に行った各被験者の回答と相違度の関係

(a)相関係数：−0.359 (b)相関係数：−0.427

(c)相関係数：0.329 (d)相関係数：−0.658

(e) 相関係数：−0.408

図 37 2014年01月28日1回目に行った各被験者の回答と相違度の関係

(a)相関係数：0.037 (b)相関係数：−0.290

(c)相関係数：−0.575 (d)相関係数：−0.229

図 38 2014年01月28日2回目に行った各被験者の回答と相違度の関係

(a)相関係数：0.016 (b)相関係数：0.015

(c)相関係数：−0.442 (d)相関係数：−0.124

(e) 相関係数：−0.440

図 39 2014年02月21日に行った各被験者の回答と相違度の関係

(a)相関係数：−0.776 (b)相関係数：0.052

(c)相関係数：0.184 (d)相関係数：0.312

(e) 相関係数：−0.737

図 40 2014年02月26日に行った各被験者の回答と相違度の関係

5. ^まとめ

事前生成型ARシステムでは，撮影した日時とユーザが利用する日時が異なる ことによって，景観に違いが生じ臨場感が損なわれるという，従来のARにはな い問題が存在する．本論文では，3 つの要因（表1参照）に対し，それぞれ以下 のように対応する手法を提案した．(1) 数ヶ月ごとの変化にはデータベースを再 度構築することで対応するものとし，本報告では取り扱わない．(2) 時々刻々と 変形する歩行者などの動物体は全方位画像から除去する．(3) 天候等の照明条件 の変化には，事前に様々な日時で撮影した全方位画像群をデータベースとして保 持し，ユーザに提示する際にはデータベースの中からその場の照明条件に近いも のを選択する．本論文では，3つの要因のうち特に事前撮影された景観と実際の 現実世界の見えとの間に生じる，天候や光源位置の違いなどの照明環境に着目し 実験を行った．まず，予備実験として，照明環境を考慮しない事前生成型ARシ ステムを用いて，天候や光源位置の違いなどの照明環境の変化に関して生じる問 題点を確認した．次に，照明環境を考慮した事前生成型ARシステムを用いて一 般公開実験を行い，提案手法を用いた場合，照明条件を考慮しない場合よりも，

ARシステムとしての違和感を持たないことを確認した．ただし，この公開実験 ではデータベースに登録した全方位画像に偏りが存在したため，様々な天候・日 時で撮影したデータベースを用いて再度検証を行い，提案手法の有用性を検証し た．その結果，様々な天候下においても，提案手法を用いれば，従来手法よりも 体験者はARシステムとしての違和感を持たないことが確認できた．また，東大 寺で行った一般公開実験におけるアンケート結果から，アプリケーションの応用 例として，提案手法に基づくバーチャル歴史体験システムが実用可能な品質を有 していることが示唆された．

提案手法を含めた事前生成型ARは，事前に撮影した離散的な地点の画像を提 示するため，ユーザの移動に伴う運動視差は再現されないという制約が存在する．

今後の展望として，離散地点で撮影した全方位画像から自由視点画像を生成する ことで，これらを再現するシステムが考えられる．また，本研究では実環境の照 明条件を考慮した事前生成画像を提示するシステムを開発したが，公開実験を通 して，実環境の好ましい時節の景観を見たいといった要望も多く得られた．例え

ば，本研究のバーチャル歴史体験アプリケーションにおいて，体験時が冬の時期 であっても，紅葉で彩られた木々の中で過去の大仏殿や塔を見ることができると いったものである．そのため，太陽などの光源位置は現実の環境に合わせるが，

提示する画像は時代・季節を自由に変更できるインタフェースを提供するなどの 応用も考えられる．

謝辞

本研究を進めるに当たり，終始暖かくご指導，ご鞭撻頂いた視覚情報メディア 研究室 横矢直和 教授に心より感謝申し上げます．また，本学での研究における あらゆる面で，多大なご助言，ご協力を賜りましたことを深く感謝致します．そ して，本研究の遂行にあたり，有益な御助言，御鞭撻を頂いたインタラクティブ メディア設計学研究室 加藤博一 教授に厚く御礼申し上げます．さらに，本研究 を進めるに当たり，終始細やかなご指導，ご助言頂いた視覚情報メディア研究室 佐藤智和 准教授に厚く御礼申し上げます．

本研究へのご助言，ご協力を頂いた視覚情報メディア研究室 河合紀彦 助教，

中島悠太 助教に深く感謝致します．また，研究室での生活を支えて頂いた視覚情 報メディア研究室 石谷由美 女史に心より感謝いたします．あらゆる面において，

多大なるご助言を頂いた視覚情報メディア研究室 大倉史生氏に深く感謝いたし ます．本研究の遂行にご助言をくださり，実験等にご協力して頂きました，粂秀 行氏， 青砥隆仁氏に心より感謝申し上げます．また，お忙しい中被験者として協 力してくださいました方々に深く感謝致します．

本研究で作成したコンテンツに関する助言および，撮影や実験の場所の提供な ど，ご協力を頂いた華厳宗大本山東大寺の方々に厚く御礼申し上げます．そして，

本研究で行った公開実験を施行する上で，多大なるご協力を頂いたNAIST・KMD 共同研究プロジェクトに関わった全ての方々に深く感謝致します．最後に，暖か く見守ってくださいました両親に心より感謝の意を表します．

参考文献

[1] M Zoellner, J Keil, T Drevensek, and H Wuest. Cultural Heritage Layers:

Integrating Historic Media in Augmented Reality. In Proc. Int’l Conf. on Virtual Systems and Multimedia (VSMM’09), pp. 193–196, 2009.

[2] G A Lee and M Billinghurst. CityViewAR : A Mobile Outdoor AR Ap-plication for City Visualization. In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’12) - Arts, Media, and Humanities Proceedings, pp. 57–64, 2012.

[3] R Azuma. A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, Vol. 6, No. 4, pp. 355–385, 1997.

[4] G Klein and D Murray. Parallel Tracking and Mapping on a Camera Phone.

In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’09), pp. 83–86, 2009.

[5] T Taketomi, T Sato, and N Yokoya. Real-time and Accurate Extrinsic Cam-era Parameter Estimation Using Feature Landmark Database for Augmented Reality. Int’l Journal of Computers and Graphics, Vol. 35, No. 4, pp. 768–

777, 2011.

[6] E Eade and T Drummond. Scalable Monocular SLAM. In Proc. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR’06), pp. 469–476, 2006.

[7] A J Davison, W W Mayol, and D W Murray. Real-time Localisation and Mapping with Wearable Active Vision. InProc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’03), pp. 18–27, 2003.

[8] J Shi and C Tomasi. Good Features to Track. In Proc. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR’94), pp.

593–600, 1994.

[9] G Klein and D Murray. Parallel Tracking and Mapping for Small AR Workspaces. In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’07), pp. 225–234, 2007.

[10] H Kato and M Billinghurst. Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System. In Proc. IEEE and ACM Int’l Workshop on Augmented Reality (IWAR’99), pp. 85–94, 1999.

[11] L Naimark and E Foxlin. Circular Data Matrix Fiducial System and Robust Image Processing for a Wearable Vision-inertial Self-tracker. In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’02), pp. 27–36, 2002.

[12] V Lepetit, L Vacchetti, D Thalmann, and P Fua. Fully Automated and Stable Registration for Augmented Reality Applications. InProc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’02), pp. 93–102, 2002.

[13] 大江統子,佐藤智和,横矢直和. 幾何学的位置合わせのための自然特徴点ラン ドマークデータベースを用いたカメラ位置・姿勢推定. 日本バーチャルリア リティ学会論文誌, Vol. 10, No. 3, pp. 285–294, 2005.

[14] 佐藤智和, 池田聖, 横矢直和. 複数動画像からの全方位型マルチカメラシス テムの位置・姿勢パラメータの推定. 電子情報通信学会論文誌（D-II), Vol.

J88-D-II, No. 2, pp. 347–357, 2005.

[15] H W Jensen. Global Illumination Using Photon Maps. InProc. Eurographics Workshop on Rendering (EGWR’96), pp. 21–30, 1996.

[16] A Fournier, Atjeng S. G, and Chris R. Common Illumination between Real and Computer Generated Scenes. In Proc. Graphics Interface (GI’93), pp.

254–262, 1993.

[17] M F Cohen, S E Chen, J R Wallace, and D P Greenberg. A Progressive Refinement Approach to Fast Radiosity Image Generation. In Proc. ACM SIGGRAPH’88, pp. 75–84, 1988.

[18] R A Newcombe, A J Davison, S Izadi, P Kohli, O Hilliges, J Shotton, D Molyneaux, S Hodges, D Kim, and A Fitzgibbon. KinectFusion: Real-time Dense Surface Mapping and Tracking. In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’11), pp. 127–136, 2011.

[19] L Gruber, T Richter-Trummer, and D Schmalstieg. Real-time Photometric Registration from Arbitrary Geometry. InProc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’12), pp. 91–97, 2012.

[20] P K´an and H Kaufmann. High-quality Reflections, Refractions, and Caustics in Augmented Reality and Their Contribution to Visual Coherence. InProc.

IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’12), pp. 99–108, 2012.

[21] C B Madsen and M Nielsen. Towards Probe-less Augmented Real-ity. In Proc. Int’l Conf. on Computer Graphics Theory and Applications (GRAPP’08), pp. 255–261, 2008.

[22] M Csongei, L Hoang, C Sandor, and Y Lee. Global Illumination for Aug-mented Reality on Mobile Phones. InProc. IEEE Virtual Reality (VR’14), 2 pages, 2014.

[23] J Wither, Y-T Tsai, and R Azuma. Indirect Augmented Reality. Int’l Journal of Computers and Graphics, Vol. 35, No. 4, pp. 810–822, 2011.

[24] G Liestø l and A Morrison. Views , Alignment and I ncongruity in Indirect Augmented Reality. In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’13), pp. 23–28, 2013.

[25] S Cˆot´e, P Trudel, M-A Desbiens, M Gigu`ere, B Systems, and R Snyder. Live Mobile Panoramic High Accuracy Augmented Reality for Engineering and Construction. In Proc. Int’l Conf. on Construction Applications of Virtual Reality (CONVR’13), pp. 30–31, 2013.