風景写真の撮影地探索システムの開発

全文

(1)社団法人情報処理学会研究報告 IPSJ SIG Technical Report. 2006−DD−53（1） 2006／1／27. 風景写真の撮影地探索システムの開発鈴木徹也芝浦工業大学システム工学部電子情報システム学科要旨現在我々の身のまわりには非常に多くの風景写真が存在するそういった風景写真の撮影場所や撮影方向を明らかにすることは位置指向検索向けメタデータ生成写真の記録としての価値の向上写真の検証などに有益であるしかし写真の撮影地特定作業を人手で行うには多大な労力が必要となるそこで我々は風景写真の撮影地特定作業を支援するシステムを開発している対象とする写真は被写体の地形が撮影地特定の主な手掛りとなる風景写真である本報告では開発中のそのシステムとそれを使った撮影地探索の概要そして理想的な条件の下での探索実験の結果を示す.

(2) .

(3) .

(4)

(5)

(6) .

(7)

(8) .

(9)

(10)

(11)

(12)

(13) .

(14)

(15)

(16) . Æ .

(17)

(18)

(19) .

(20)

(21)

(22)

(23)

(24). .

(25)

(26)

(27)

(28)

(29)

(30)

(31) . . はじめに. 現在我々の身のまわりには非常に多くの風景写真が存在する書籍新聞パンフレットなどの印刷物の他にも上に存在する画像テレビ番組や劇場映画などの一場面にも風景は記録されているそういった風景写真の撮影場所や撮影方向を明らかにすることは次の点で有益である位置指向検索向けメタデータの作成風景写真の撮影場所や撮影方向を明らかにすることは位置指向検索向けメタデータ生成に役立つ近年上では従来からある地図閲覧サービス以外にも位置を用いた検索（位置指向検索）サービスが続々と提供されているたとえば

(32) ローカルといった −1−. ものであるしたがって位置情報を扱うアプリケーションの普及に伴い今後位置に結びつけられた情報への需要だけでなく情報へ位置を結びつける技術の需要も高まると考えられる記録写真としての価値の向上写真の撮影場所を明らかにすればそれらの記録写真としての価値が向上する例えば劇場映画の一場面であってもその撮影場所を明らかにすることでその映像は撮影当時の街並みや自然の記録となる写真の検証報道写真をはじめさまざまな映像や写真が説明通りの場所で撮影されたものかどうかを判定するのは一般には難しいもし与えられた映像や写真の撮影場所が明らかになればそれはその説明の真偽の判断材料となるしかし写真の撮影地特定作業を人手で行うには多.

(33) 大な労力が必要となるおそらく実際のその作業は次のようになるであろう . . 写真から撮影地特定につながる特徴を抽出する例えば写真中の看板の文字建物太陽光の向き道路の曲がり具合地形などの特徴を抽出する各種データベースと照合しながら抽出した特徴とよく一致する場所を探す例えば次のようにする. 置を推定する研究であるセンサとしてカメラを利用したものは本研究と特に似ている # それらは画像を入力として撮影位置を出力するそれぞれの研究によって異なるがそれらは次のような仮定をおき問題を簡単にしたり探索すべき範囲を削減したりしているカメラはほぼ水平方向を向いているカメラは全方位を撮影できる. 看板に書かれた店名を電話番号簿から探し撮影地探索の地域を限定する. 位置が既知の被写体がある. 被写体の建物が掲載されている文献を探しその文献の情報から撮影地探索の地域を限定する建物の向きや太陽光の向きから撮影方向を推定する写真中の道路の曲がり具合と地図とを照合し撮影地を探す抽出した地形の特徴とよく一致する場所を地図から探す . 必要ならば現地で確認する. そこで我々は風景写真の撮影地特定作業を支援するシステムを開発している対象とする写真は被写体の地形が撮影地特定の主な手掛りとなる風景写真であるシステムは入力として探索範囲と人間が写真から抽出した風景の特徴を受け取るそしてその探索範囲内で与えられた特徴に良く合う風景を撮影できるカメラの位置撮影方向焦点距離などを探索し出力するこのシステムは上記探索手順「抽出した地形の特徴とよく一致する場所を地図から探す」を自動化するものである現在探索には遺伝的アルゴリズム

(34)

(35) と局所探索アルゴリズムが利用できる本報告の構成は次のようになっている第節では本研究と関連する研究を紹介する第節では開発中のシステムとそれを使った撮影地探索の概要を説明する第節では開発中のシステムを評価するために行った実験とその結果を説明する第節で本報告をまとめるなお本報告では日本測地系 !!!" に基づく緯度と経度を用いる. . 関連研究. 本研究とは目的は違うがよく似た研究にロボットの自己位置推定の研究があるロボットに取り付けたセンサから得た情報をもとにそのロボットの位 −2−. ロボットの直前の位置と姿勢が分かっている空と地面との境界線が画像から抽出できる本研究ではこれらの仮定を必ずしも用いないその代わり画像からの特徴抽出は人間が行う例えば空と地面との境界線地平線の抽出地面の凹凸などを人間が抽出しそれをシステムに与えるまた探索範囲の削減も人間が行う例えばカメラ位置をある線分上や多角形内に制限したりすることで探索範囲を限定する. . システム概要. 開発中のシステムについてその構成とそれを使った探索過程の概要を説明する. . システム構成と探索過程. 開発中のシステムを使った撮影地探索の手順は次のようになる . 探索問題の定義初期解集合の生成探索解の視覚化. 上記手順は手作業で行うが手順，，は $% で実装されたシステムで処理する以下でこれらの手順について説明する. . 探索問題の定義. まずシステムが扱う探索問題を定義する詳しくは節で述べるが写真から抽出された特徴と探索範囲を宣言的に記述する例えば写真から読み取れる地形の特徴カメラパラメータを表す変数とその領域などを記述する.

(36) 表. &. 図の描画に用いたパラメータ. パラメータ. 値 " !. カメラ位置. 図. 図. . &. &. 焦点距離投影面の大きさ対地高度方角仰角バンク. 湖データの例（河口湖）. 風景描画の例（河口湖畔）. 初期解集合の生成. 探索に先立って解集合を生成する本報告で用いる解とは探索問題で定義された変数からその値への写像であるここで生成されるそれぞれの解が探索の開始点となる解の分布を調節することで探索空間のある領域に重点的に初期解を配置することもできる. . 探索. システムは与えられた解集合中の解を探索の開始点としてユーザに指定された探索アルゴリズムを使ってより良い解を探索する現状では実数値遺伝的アルゴリズムと局所探索アルゴリズムが利用可能である実装済みの実数値遺伝的アルゴリズムは単峰性正規分布交叉 '()* ' ( )+ , と共に距離依存世代交代モデル -++% . )) )+ )/ を用いる 0 ! この構成の実数値遺伝的アルゴリズムは解の多様性維持に優れている各探索アルゴリズムは探索時に標高データと湖解の良し悪しは問わないのはパラメータでありを生成する. . 個の親から子. −3−. 北緯度 ! 分 " ! 秒東経 " 度分 ! 秒. ! 0. . . 0. !! 度度固定 ! 度固定 !. データを参照する本システムで利用する標高データは約 ! メッシュの日本の国土の標高データであるこのデータにおいて標高値. の地点は海として扱う湖データは注水操作によって作成されたビットマップデータである注水操作は地理情報システム「カシミール３Ｄ」で採用されている湖データ作成法で標高データで形作られる地形のくぼみに水を注ぐ操作である例として注水操作によって作成された河口湖のデータを図に示す各探索アルゴリズムによって種類の解集合が出力される１つは遺伝子型のものでありもう１つは表現型のものである出力された解には適応度が付与されている適応度は ! 以上以下の値で良い解ほどその値が大きい出力された遺伝子型の解集合は再び探索アルゴリズムの入力となりうるしたがって異なる探索アルゴリズムを組み合わせて探索を行うことができる例えば遺伝的アルゴリズムで大域的に探索し得られた最良解を局所探索によって改善することが可能である. . 解の視覚化. 本システムによって高い適応度が付与された解が正しい撮影位置を指しているとは限らない例えば探索問題の定義が不十分であった場合にそのようなことが起こるそこでユーザは解の妥当性を出力されたカメラパラメータによって撮影される風景を視覚化し確認する例として本システムで描画した河口湖畔の風景を図に示すまたその描画に用いたパラメータ描画には国土地理院刊行の「数値地図

(37) メッシュ標高」を用いた描画には国土地理院刊行の「数値地図

(38) メッシュ標高」を用いた.

(39) を表に示す. ⵍ౮૕. ᛩᓇ㕙. . 2. 探索問題記述. ⷞὐ 㧔✲ᐲ‫⚻ޔ‬ᐲ‫ޔ‬㜞ߐ㧕. システムに与える探索問題は次の要素から構成され *1 で記述される . R. 1. * ὶὐ〒㔌. 地理的領域定義変数定義カメラ定義制約記述. 図. &. ピンホールカメラモデル. 視点図点 3 の緯度経度高さ以下でこれらを順に説明する. . カメラの方角仰角バンク焦点距離投影面の大きさ投影面のピクセル数地理的領域定義最大視線追跡距離. 地理的領域とは緯度と経度の次元直交座標系上の点線分三角形を要素とする列である点は緯度と経度の組で定義される線分はつの点の組で定義される三角形は点のつ組で定義されるこのように定義された地理的領域はカメラ位置を制限するのに使用される他ある緯度と経度で示される点が地理的領域に含まれるかどうかを判定するのに使われる. . 変数定義. 未知のカメラパラメータなどを表すために変数を定義できる変数の領域は倍精度浮動小数点型の値を要素とする有限集合でありその定義方法は種類あるつ目は値を列挙する方法であるつ目は下限と上限そしてステップを指定する方法であるこの方法では下限を初項としステップを公差とする等差数列の要素のうち下限以上上限以下のものがその変数のとりうる値となるつ目は定数や他の変数からその変数の値を計算する式を記述する方法である式には定数と変数の他加減乗除関数整数部の取り出し 2 関数小数部分の取り出し地理的領域中の任意の点の緯度と経度が使用できるつ目の方法を用いると変数の値の依存関係に循環が生じてしまうことがある簡単のため本システムでは変数の値の依存関係に循環のある探索問題は扱わない. . 緯度と経度の指定には日本測地系 !!! を用いるカメラの高さは標高対地高度楕円体高 " のいずれかで指定する方角は北が ! 度東が ! 度南が "! 度西が 0! 度となるようにとる仰角は水平面に対する光軸図線分 34 の角度であるバンクは光軸を回転軸としたカメラの回転角度である焦点距離図線分 34 の長さは視点と投影面との距離である視点 3 から投影面上のある点 / 方向へ視線を延ばした先の被写体を調べる際視線を伸ばす最大距離が最大視線追跡距離である最大視線追跡距離までの範囲に地面湖面海面のいずれかがあった場合視線とその被写体との交点 5 の位置緯度経度高さ視点から交点 5 までの距離交点 5 の属性地面湖面海面を調べられるそれらのいずれもない場合被写体の属性は空そらとされる. . 制約記述. ユーザは定義したカメラで撮影される写真の特徴や数式に関する条件をつの制約として記述する制約には基本制約とメタ制約の種類がある基本制約は次の種類に大別される等号や不等号といった数値の項関係視点から被写体までの距離に基づく制約被写体の位置に基づく制約. カメラ定義. 被写体の属性に基づく制約. カメラ定義ではピンホールカメラモデル図に基づくカメラをつ以上定義する各カメラに対して定数変数もしくはそれらを使った式で次を定義する −4−. 地理的領域に関する制約一般に「ジオイド高. 楕円体高標高」であるが現在のシステムではジオイド高は全てとしているので標高と楕円体高は等しくなる.

(40) 視点から被写体までの距離に基づく制約によって被写体の前後関係などを記述できる被写体の位置に基づく制約によって被写体の凹凸が表現される被写体の属性に基づく制約によって投影面上の点に対応する被写体の属性が地面湖面海面空のいずれかなのかを宣言できる投影面上のあまり離れていない点のうちいずれかが空でもう一方が空でないことを宣言することで地面と空との境界を表現する地理的領域に関する制約によって与えられた緯度と経度の組がある地理的領域に含まれるかどうかを宣言できるメタ制約は制約を組み合わせるための制約でありの種類がある制約の評価値は ! 以上以下の任意の実数を取りその値が大きいほどよく充足されているものとするいまを個の制約とし制約の評価値をと記述するこのとき各メタ制約の評価値を次のように定義する . . . . . . . . . . . . . . . . . . . 本システムの探索アルゴリズムはある解に対する制約の評価値をその解の適応度として扱い適応度の高い解を探索する. . パラメータカメラ位置焦点距離投影面の大きさ対地高度方角仰角バンク. 値域 ∼"0 " 7 ! ! 単位 "∼!! 7 単位 0 0 固定固定 ! 度∼ 度 7 度単位 ! 度固定 ! 度固定 !. ことで得た撮影方向は ! 度から度まで度単位で焦点距離は " から !! まで単位でそれぞれ探索する投影面の大きさは我々の所有するデジタルカメラのそれと同じにした探索空間の大きさは !! である. #!. . !! . " 8. 図の描画に用いたパラメータは表に示されているカメラ位置は整数部分が線分の番号小数部分がその線分内部での位置をあらわしている. . 評価実験. 制約の表現力と現状のシステムの探索能力を確認するための実験について説明するまず実験に用いる探索問題を説明しその後それぞれの実験内容と結果を示す. . 探索実験に用いたパラメータとその値域. 図の風景から次のように制約を抽出した基本制約は地平線を表す制約を個地面の凹凸を表す制約を個そして湖面を表す制約を個の計個を抽出したそしてこれらをメタ制約を用いて合成した. . . &. 9 0!!!. 6 . . 表. 探索問題. 実験では図を風景写真として用いそのカメラ位置撮影方向焦点距離を河口湖畔から探索する問題を扱うこの探索問題はシステムが用いる地形モデルと写真中の地形との差がないこと探索空間中に正解が含まれることそしてレンズによる画像の歪みがないことから理想的といえる実験に用いるパラメータとその値域を表に示すカメラ位置は河口湖の周囲にとった !! 個の点に制限したその !! 個の点は河口湖の周囲を "" 個の線分で近似し各線分上に等間隔に ! 点をとる −5− . 制約の表現力. 適応度関数の景観を図焦点距離を ! に固定と図カメラ位置を " ! に固定に示す両図において縦軸は方角を表している図の横軸はカメラ位置を図の横軸は焦点距離をそれぞれ表している両図で示した探索空間の部分空間内では適応度関数は多峰性ではあるが正解カメラ位置 " ! 方角 !! 度焦点距離 ! およびその付近で大きな値をとることが確認できるまた正解の適応度は最大値 ! となることを確認したつまり両図で示した部分空間に関して言えば抽出した制約はその評価値が正解およびその付近のみで最大値をとり探索すべき解を良く表現できているとえいる社製. .

(41) . . 探索実験. 探索実験により次の点を確認する探索開始点を探索空間のある領域に配置しその領域を重点的に探索できること実数値遺伝的アルゴリズムと局所探索アルゴリズムの組み合わせによる探索能力実験に用いる実数値遺伝的アルゴリズムでは実数値交叉 '()*. のパラメータの値をとした初期解集合に含まれる解（個体数）は !!! 個世代の更新回の交叉）で ! 個の子を生成する世代更新は最大で !! 回行うこうして得られた最良解に対して局所探索アルゴリズムによる解の改善を最大で !!! 回行う両アルゴリズムによる適応度関数の評価回数は最大で計 "!!! 回となる探索中充足度 ! となる解が発見された場合はそこで探索を終える初期解を一様に分布させる空間を次の通りとした. 結論. 本報告では開発中の風景写真の撮影地探索システムを紹介したシステムの目的のつは風景写真に対するメタデータ生成支援であるシステムは一種の制約充足システムであるユーザは風景写真の被写体の特徴やカメラパラメータの条件を制約として記述するシステムはそれをよく満たす解を探索し出力する理想的な条件下での実験により本システムは十分な制約の表現力を持っていること遺伝的アルゴリズムと局所探索アルゴリズムを組み合わせた探索が撮影地探索で有効であること探索開始点の分布を調節することで優良な解を発見する確率を改善できることのつを確認した今後は実際の風景写真へシステムを適用するとともに探索能力の向上をはかりたいと考えている. 参考文献 !. " # . $ %.

(42) % &. .

(43)

(44) '

(45) . 探索空間全体. ( ))*+ ,!. 探索空間を「位置」方向に関して # 等分したうちの正解を含む空間. "

(46) . . - . ' . . . . 0 &. (2'+. '/

(47) 0

(48) 3. %. ' 1. (

(49) . '

(50) . 0

(51) +. &44 5 4#4,3334#0% ,333 33* (,333+. 探索空間を「位置」方向に関して等分したうちの正解を含む空間. 5!. $. &. $. ローカル&. &44 64. そして上記通りのそれぞれの場合について ! 個の異なる初期解集合を生成し探索を行った上記通りそれぞれの探索実験結果を表表表に示す各表において適応度は遺伝的アルゴリズムのみで得られた解の最高適応度「

(52) のみ」と遺伝的アルゴリズムにつづいて局所探索アルゴリズムを適用して得られた解の最高適応度「

(53) 8局所探索」とのつが示されている各表には最終的に得られた最良解のカメラ位置とそれに対応する緯度と経度方角焦点距離そして適応度関数の評価回数が示されている探索空間全体に初期解を一様に分布させた場合. 表 ! 回の探索中回も適応度 ! となる解は得られなかったが探索空間の分割数を増やすことで適応度 ! となる解が得られる割合が増えた探索空間を # 等分した場合表）は ! 回中 # 回の探索で等分した場合表）は ! 回中回の探索で適応度 ! となる解がそれぞれ得られた遺伝的アルゴリズムの探索で適応度 ! の解が得られなかった場合は遺伝的アルゴリズムで得られた最良解を局所探索アルゴリズムによって改善したそのようなケースは回あったがそのうち回のケースで解を改善できた # −6−. 7!. . - '1

(54) 1 ' '

(55) '.

(56) 81 9 &. 0

(57)

(58)

(59)

(60)

(61) .

(62)

(63)

(64) ( )):+ ;!. 国土地理院：数値地図 ;3 メッシュ(標高+ （財）日本地図センター (,333+. *!.

(65) <

(66) '

(67) $ & '

(68)

(69)

(70)

(71)

(72).

(73) . . . ,*5 =,*5:. > <

(74) ( )),+ :!. 1 ? # %. 9 . $

(75) .

(76) 9 &. @ .

(77) . @. A

(78) . A

(79)

(80) @

(81)

(82) ' % <

(83) ?

(84)

(85) . ! , )=,,* (,333+

(86). B!. 飛田幹男：世界測地系と座標変換日本測量協会 (,33,+. )!. C & C D & &44 4. 3!. 小林重信：$@ の研究に取り組んで十余年人工知能学会誌 E B > 7 75)=7; (,335+. . 杉本智彦：カシミール 5A4風景 %$ と地図とのページ： &44 1 5 4. !. $-.

(87) focus=30mm 350 1 300 0.8 direction (degree). 250. 0.6 0.4. 200. 0.2 150. 0. 100 50 0 0. 10. 20. 30. 40. 50. 60. 70. 80. position. 図. &. 適応度関数の景観焦点距離 !. position=84.0 350 1 300 0.8 direction (degree). 250. 0.6 0.4. 200. 0.2 150. 0. 100 50 0 0.02. 0.03. 0.04. 0.05. 0.06. 0.07. 0.08. 0.09. focus (m). 図. &. 適応度関数の景観カメラ位置 " !. 0 −7−. 0.1.

(88) 表試行適応度

(89) のみ.

(90) 8局所探索カメラ位置. 度緯度北緯分. 秒. 度経度東経分. 秒方角度焦点距離評価回数. . . ! 0". ! 0. ! ". ! ". ! ". ! "#. ! ". ! "#. #. # . #" 0". # 0. #. 0. ". ! 00. ! 0. ! "#. ! 0. ! ". ! ". ! "#. ! 0#. 0 . ". " . . . . !. ! ". ! 0. ! ". ! ". ". !. . . . . . . . . . . !. !. !. !. . !. . . . . # 0. "". ". ". ". . !0. ". " . ". ". ". ". ". . . . . . #. ! . . . . " # 0. # !". . . . 0. ". . . 0. ". . . . . . !0. #. . . "". 0. . . . ". 0. . ". 0. . ". #. 00. 0!. "!!!. "!!!. "!!!. "!!!. "!!!. "!!!. "!!!. "!!!. "!!!. "!!!. . . . . #. 0. ". . !. ! "#. ! . ! ". ! 0. ! 0. ! . !!. ! . ! "". ! . ! !. !!. ! ". !!. !!. !!. !!. ! #. !!. ! . 0 ". " . " !. " #. " . "# . " . . . . . . . . . . . !. !. !. !. !. !. !. !. !. !. #. . !. 0 "0. ! . . " ". . 0 ". ". ". ". ". ". ". ". ". ". . # ". &. . . . ! . #!. ". ". " 0 ". "! "". . . . . . . . . . . . ". . # ##. ". . 0. !!. !. !. !!. 0. !. !#. !. "!!!. 0. 探索実験の結果 # 分割. ". # "!!!. 表試行適応度

(91) のみ.

(92) 8局所探索カメラ位置. 度緯度北緯分. 秒. 度経度東経分. 秒方角度焦点距離評価回数. . . 表試行適応度

(93) のみ.

(94) 8局所探索カメラ位置. 度緯度北緯分. 秒. 度経度東経分. 秒方角度焦点距離評価回数. 探索実験の結果分割なし. &. . &. !. . . . . . . #. #!"#. # 0". # !. "!!!. #!. "!!!. 探索実験の結果分割. . . . . #. 0. ". . !. !!. !!. ! . !!. ! 0. ! . ! #. !!. ! . !!. !!. !!. !!. !!. !!. !!. !!. !!. ! #. !!. " ". " . " ". " ". " ##. "# . " ". " . ". . . . ". . . . . . !. !. !. !. !. !. !. !. . . #. . . 0 !". " ". " ". ". ". ". ". ". ". ". ". . . . 0. . . !. !!. !. . !. . !! !. #!!. #. . . . . ! " 0 ". ! ! ". . . . . . 0. 0. . #. # ##. !. !!. . !!. !!. 0. !. . !. . . !. . . !!!. #. #!. #!. "!!. "!!!. # !. . −8− ":. #. .

(95)