全方位球面画像処理に関する研究

全方位球面画像処理に関する研究

于, 安水

http://hdl.handle.net/2324/2236237

出版情報：九州大学, 2018, 博士（工学）, 課程博士 バージョン：

権利関係：

全方位球面画像処理に関する研究

A Study of Omnidirectional Spherical Image Processing

2018 年 12 月

于 安水

Yu Anshui

目 次

第

1

章 序論

1

1.1 研究の背景と目的 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 2

1.2 論文の構成 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 5

第

2

章 重合格子法を用いた魚眼画像からの特徴点検出 7

2.1 はじめに ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 8

2.2 提案手法 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 9

2 . 3

実験結果

‥ ‥‥ ‥‥ ‥ ‥ ‥‥‥ ‥ ‥‥‥ ‥‥‥‥‥

‥ ‥ ‥ 1 4

2.3.1 合成画像 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 14

2.3.2 実画像‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 18

2.4

まとめ

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 20

第

3

章 画像再構成を行わない魚眼画像からの特徴点検出

21

3.1

はじめに

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 22

3.2

提案手法‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥

22

3.3

実験結果‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥

25

3.4

まとめ

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 29

第

4

章 バネモデルを用いた全天周画像における前景拡大

30

4.1 はじめに ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 31

4.2 提案手法‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 32

4.3 実験結果 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 42

4.4 まとめ ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 43

第

5

章 球面三角法を用いた全天周画像における前景拡大

44

5.1 はじめに ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 45

5.2 提案手法 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 46

5.2.1 球面多角形間の点対応 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 46

5.2.2 全天周画像のリターゲティング ‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 53

5.3 実験結果 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 56

5.4

まとめ

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 59

第

6

章 重合格子法を用いた全天周画像からの顕著性マップ生成 60

6.1 はじめに ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 61

6.2 提案手法‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 63

6.2.1 陰陽格子

‥

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 63

6.2.2 重複領域に基づく顕著度補正 ‥‥‥‥‥‥‥

‥

‥‥‥‥‥‥‥ 66

6.2.3 球面調和関数‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥

‥

‥‥‥‥‥‥‥ 69

6.3 実験結果 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 70

6.3.1 定性的比較

‥

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 70 6.3.2 精度評価

‥

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 73

6.4

まとめ

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 76

第

7

章 範囲付き球面

TSP

を用いた全天周画像からの要約動画生成

77

7.1

はじめに

‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 78

7.2

提案手像‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥

79

7.2.1 球面TSP を用いた初期経路生成 ‥‥‥‥‥‥‥‥‥‥‥‥‥ 79

7.2.2 範囲付き球面 TSP を用いた経路改善験‥‥‥‥‥‥‥‥‥‥‥ 82

7.3

実験結果‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥

83

7.4 まとめ ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 86

第

8

章 結論 87

8.1 まとめ ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 88

8.2 今後の課題 ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ 91

謝辞 92 参考文献

93

第 1 章

序論

1.1 本研究の背景

現在，デジタル画像処理は急激に発展している．デジタル画像はコンピュー タを使用した画像処理を行うことデジタル画像処理では様々な画像処理アルゴ リズムを活用可能であり，アナログ画像では不可能な処理も可能となる．そし て，画像処理広く適用することができる．画像処理が生産用に実用化されてい る事例として，製品の欠陥検査がある．集積回路のマスクパターンなどの工業 製品の欠陥検査のほか，形が一様ではない農産物の選別などにも用いられる．

また，ロボットが外界を認識するための方法としての画像処理も研究が進んで いる．交通分野では，ナンバープレートの読み取りや，歩行者、他車、障害物、

白線（車線）などを車上カメラで認識する，車線逸脱防止支援システムや衝突 被害軽減ブレーキに用いられている．そのうち，全天周画像はほとんど例外な しに最大限に活用する．全天周画像は，広視野角レンズカメラで周囲の全方向 をくまなく撮影した複数枚の画像をひとつの画像データに統合したもので，自 動運転システム，防犯監視，管内壁検査，テレビ会議システムなど幅広い用途 への応用が期待されている．パノラマ画像とは，広い範囲を撮影した画像．通 常，360度パノラマ画像を作成する場合は，ある一点から全方位の写真を数十枚 撮影してコンピュータ上で合成処理する必要があるが，全天球カメラを利用す れば一度の撮影でパノラマ画像が作成できる．通常の画像と比較して，パノラ マ画像は主に以下の幾つかの面に現われている：（1）現実感の強い感覚。実際 の画像の生成に基づいて，他のモデリングオブジェクトよりも信頼性が高く，

信頼性が高い．（2）平面画像よりも多くの画像情報を表現でき，任意に制御で き，インタラクション性能が良好である．（3）画像のアルゴリズム処理後，実 際の3Dリアルシーンをシミュレートし，視聴者は見る後あたかもその場に身を 置くかのような感覚を与える．360度パノラマ技術は，独自の方法を提供する．

マンマシンインタフェース，地理情報、エンジニアリング管理、環境シミュレ ーション，医療診断などに活用する．

標準的に用いられる画像特徴点検出手法として，Shi-Tomasi [1]や Harris [2]

の特徴点検出器を用いるものが挙げられる．このような一般の画像を対象とす る特徴点検出手法は，魚眼画像に対してもそのまま用いられることが多かった が[3]，魚眼画像は幾何ひずみを含み解像度が空間的に不均一であるため，必ず しも適切とはいえなかった．一方，特徴点とは異なるが，オプティカルフロー [4]，エッジ[5]，勾配[6]，SIFT [7]など，魚眼画像の特徴抽出を曲面上で行う 手法が提案されている．これらは幾何ひずみの影響を完全に取り除くことで正 確な特徴抽出が期待できる．

一般の画像の前景拡大は，画像リターゲティング(image retargeting)の手法 を用いて実現できる．画像リターゲティングは，画像を異なるサイズ・アスペ クト比の小型画面に表示する際，画像の視認性を維持するため，重要領域の面 積比が拡大された画像に変換するもので，2005 年に Setlur らによって提唱され た[8]．それ以来，画像リターゲティングの研究は，携帯端末やタブレット端末 の普及に伴って現在まで盛んに行われてきている[9]～[19]．既存の画像リター ゲティング手法は，離散的手法[9]，[12]～[14]，[18]と連続的手法[10]，[11]，

[16]，[17]，[19]～[21]に大別できる．いずれも一般の画像を対象としており，

球面画像に適用可能なリターゲティング手法は，我々の知る限り存在しない．

連続的な画像リターゲティング手法として，肖らはバネモデルを用いた画像リ ターゲティング手法を提案している[19]．彼らのバネモデルは，全天周球面画 像の三角形メッシュ構造[22]とも親和性があり，球面構造へ容易に拡張できる と考えられる．

画像リターゲティング(image retargeting)は，元の画像とは異なるサイズ・

アスペクト比のデバイスへの表示のため，画像の内容を考慮して画像を空間非 一様に変形するもので，Setlur ら[8]によって初めて提唱された．それ以来，画 像リターゲティングは，携帯端末や PDA など中小型ディスプレイデバイスの普 及に伴って現在まで盛んに研究されている[9]，[10]，[12]～[14]，[16]～[21]．

顕著性マップは各ピクセルの特別な性質を示す．顕著マップの目標は，一般 的な画像の表現を分析しやすいスタイルに単純化または変更することである．

例えば，ピクセルは，カラー画像においてより高いグレーレベルを有し，顕著 性マップにおいてより明らかな方法で表示される．顕著性マップ生成は，視線 解析，物体検出，ロボットビジョンなど様々な分野に応用できるため，盛んに 研究が行われてきている[23]～[29]．全天周画像における解像度不均一性と極 問題に対応するために，二つの緯度経度格子からなる重合格子[29]を用いて，

全天周画像から幾何歪みが尐なく解像度が空間的に均一な 2 枚の矩形平面画像 を生成する．これまで多くの顕著マップ生成手法が報告されている．例えば，

Itti らの特徴理論に基づく顕著性マップの計算モデル[24]に始まり，近年提案 されている学習ベースのアプローチによるモデル[25]に至るまで数多くの手法 が存在する[26]～[28]．これらの手法に対し，Bogdanova らの顕著性マップ生成 手法[30]は，Itti らの手法[24]を全天周画像に自然に拡張したもので，幾何歪 みのない球面上での処理のため，正確な顕著性マップの生成が可能である．

以上のような研究背景の下で，本研究では，全天周画像のための特徴抽出お よび視認性向上手法を提案する．本論文では，提案手法の種々の実験を通して，

特徴点検出の有効性及び前景拡大の視認性向上性能を示す．全天周画像の顕著 性マプを生成する及び全天周画像内の内容を保ちつつ小画面内でも確認できる 短時間の動画が生成できることを確認する．

1.2 本論文の構成

本論文は全8章から構成される．以下に各章の概要を述べる．

本章（第1章）は序論であり，本論文の研究背景と目的，論文の構成について 述べている．

第 2 章では，任意の画像特徴点検出手法を魚眼画像にも適用できるように拡 張する手法を提案する．本手法では，魚眼画像を球面上にマッピングし，極座 標系に基づき特徴点検出を行うアプローチをとる．しかし，通常の極座標変換 では，魚眼画像の画像中心が極座標系の特異点である極に対応し，その周辺で はグリッドが集中して CFL 条件の制約のために計算効率が大幅に低下するとい う極問題が生じる．これに対し，二つの緯度経度格子からなる重合格子を用い て，魚眼画像から幾何ひずみが尐なく解像度が空間的に均一な 2 枚の矩形平面 画像を生成する．本手法の利点は，任意の画像特徴点検出手法の既存コードを 修正することなくそのまま再利用できる点である．合成画像と実画像を用いた 実験により，提案手法の有効性を示す．

第 3 章では，魚眼レンズカメラの校正手法はいくつか知られているが，今回 の実験では，文献を参考にして，提案手法の有効性を示す．

第 4 章では，画像リターゲティングの既存手法は，離散的手法と連続的手法 に大別できる．本手法は後者に属し，トリミングされた全天周画像に対して球 面三角法に基づく球面多角形間の点対応を用いてリターゲティングを行う．実 画像を用いて実験を行い，本手法の有効性を確認した．

第5 章では，運動方程式が高速に解けるように簡略化されたバネモデルを用 いて球面画像の前景拡大を行う手法を提案する．実画像を用いて実験を行い，

本手法の有効性を確認する．

第 6 章では，以前の手法に対し，Bogdanova らの顕著性マップ生成手法は，

Itti らの手法を全天周画像に自然に拡張したもので，幾何歪みのない球面上で の処理のため，正確な顕著性マップの生成が可能である．しかし，彼らの手法 は球面上での処理のため計算が複雑で，推定精度も Itti らの手法と同程度にと どまる．提案手法は，全天周画像の解像度不均一性と極問題に対応しつつ，既 存手法を再利用して顕著性マップを容易に生成できるという利点をもっている．

第 7 章では，第 5 章の提案手法を用いて全天周画像から顕著領域を抽出し，

次にこれらの全てをカバーする通過領域をもつ最短経路を探索する問題を範囲 付き球面セールスマン問題として定式化して得られる最適化問題を近似的に解 くことにより得られる経路を仮想視点経路とすることにより，全天周画像から 要約動画を生成する手法を提案する．実験により，全天周画像内の内容を保ち つつ小画面内でも確認できる短時間の動画が生成できることを確認する．

第8 章では，本研究で得られた成果をまとめて今後の課題を述べる．

なお，最後に付録を付けて本論文の補足をしている．

第 2 章

重合格子法を用いた魚眼画像からの特徴点検出

2.1 はじめに

魚眼レンズカメラは，広視野を一度に撮影することが可能で，広域監視，管 内壁検査，テレビ会議システムなど様々な用途に利用されている．したがって，

魚眼レンズカメラで撮影された画像(以下，魚眼画像)のための特徴点検出手法 の確立は，コンピュータビジョンやパターン認識の分野において重要である．

現在，標準的に用いられる画像特徴点検出手法として，Shi-Tomasi [1]や Harris [2]の特徴点検出器を用いるものが挙げられる．このような一般の画像 を対象とする特徴点検出手法は，魚眼画像に対してもそのまま用いられること が多かったが[3]，魚眼画像は幾何ひずみを含み解像度が空間的に不均一である ため，必ずしも適切とはいえなかった．一方，特徴点とは異なるが，オプティ カルフロー[4]，エッジ[5]，勾配[6]，SIFT [7]など，魚眼画像の特徴抽出を曲 面上で行う手法が提案されている．これらは幾何ひずみの影響を完全に取り除 くことで正確な特徴抽出が期待できる．しかし，データ構造が特殊であったり 問題に応じて固有の変数変換を行ったりしており，これらの枠組みで既存の特 徴点検出手法を魚眼画像に適用できるようにする場合は，工夫や複雑な計算が 必要になる．

本章では，任意の画像特徴点検出手法を魚眼画像にも適用できるように拡張 する手法を提案する．本手法では，魚眼画像を球面上にマッピングし，極座標 系に基づき特徴点検出を行うアプローチをとる．しかし，通常の極座標変換で は，魚眼画像の画像中心が極座標系の特異点である極に対応し，その周辺では グリッドが集中して CFL 条件の制約のために計算効率が大幅に低下するという 極問題が生じる．これに対し，二つの緯度経度格子からなる重合格子を用いて，

魚眼画像から幾何ひずみが尐なく解像度が空間的に均一な 2 枚の矩形平面画像 を生成する．本手法の利点は，任意の画像特徴点検出手法の既存コードを修正

することなくそのまま再利用できる点である．合成画像と実画像を用いた実験 により，提案手法の有効性を示す．

2.2 提案手法

図 2.1 に、提案手法における魚眼画像の 特徴点検出の手順を示す．FIT UWC-0195 や FUJINONFE185C046HA-1 など，等距離射影方式の魚眼レンズが広く 普及していることから，本章は等距離射影方式を採用する．このとき，原点を 魚眼レンズカメラの光軸と画像平面の交点とし，Z 軸を光軸，X 軸(Y 軸)を画 像座標系の x 軸(y 軸) にそれぞれ平行にとった世界座標系の下で，光入射方向 の極角を𝜃 ∈ [0, Ѳ_max

] (Ѳ

_max は n/2 周辺の値とする)，方位角を ∈ [0, とお くと，レンズを通過した入射光の画像平面への投影点の画像座標(x, y) は次式 のように与えられる．

𝑥 = 𝑓𝜃 cos + , 𝑦 = 𝑓𝜃 sin +

(2.1)

ここで，

𝑓

は焦点距離，(

,

) は投影中心(世界座標系の原点) の画像座標 である．

式(2.1)と極座標変換を用いて，与えられた魚眼画像の画像座標(x，y) の画 素 値 を 半 球 面 ( 状 の 領 域 ) の 対 応 点 (

sin 𝜃 cos , sin 𝜃 sin , cos

) (

0

Ѳ

_max

, 0 < )にマッピングすることにより，幾何歪みが補正された半球面

画像が得られる．この半球面画像に従来の特徴点検出器を適用できるようにす る方法として，半球面画像を極角方向を鉛直方向，方位角方向を水平方向とす る矩形平面画像（以下，緯度経度画像）に展開することが容易に考えられる．

しかし，どの方向を北極に設定しても，半球面画像に極付近の領域が含まれる ため，前述の極問題(polar problem) を回避する必要がある．

本手法では，陰陽格子(Yin-Yang grid)[8]を修正して用いる．陰陽格子は，

緯度経度格子の低緯度領域からなる陰格子(Yin grid)と，陰格子を高緯度領域

を覆うように回転させた陽格子(Yang grid)の二つの格子に，球面を一部重複を 許して分割した重合格子である．陰陽格子は球面の格子分割法であるのに対し，

提案手法では半球面を格子分割する．このとき， 1)格子数をいくつにするか，

格子数を陰陽格子と同じ2とする場合でも2)陰格子・陽格子それぞれの極角と方 位角の範囲，3)二つの格子をどの程度重複させるか，など無限の組み合わせが 考えられる．本章では，陰陽格子の考え方を踏襲し，1)については計算コスト を考慮して最小の2とし，2)については格子間隔の均一性を考慮して半球面上の どの点もその要素格子における緯度が45度以下（方位角については特に条件を 定めない）になるようにする．3)については計算コストの点から重複は尐ない ことが望ましいが，矩形画像を処理対象とするため，重複領域の削除は行わな い．このとき，以下の二つの格子分割法は上記の条件を満たす．ひとつは，1) 陰 格子の極座標系における極角が𝜃 ∈ [ , Ѳ_max

]，方位角が ∈ [0, の範囲の領

域を覆う要素格子と2)陽格子の極座標系における極角が

𝜃 ∈ [ , ]

，方位角 が ∈ [ , ]の範囲の領域を覆う要素格子，の二つに半球面を分割する方法 である(図2.2 (a))．もうひとつは，1) 陰格子の極座標系における極角が

𝜃 ∈ [ , Ѳ

_max

]，方位角が ∈ [ ,7 ]の範囲の領域を覆う要素格子と2) 陽格

子の極座標系における極角が

𝜃 ∈ [ , ]

，方位角が

∈ [ , ]

の範囲の領域 を覆う要素格子の二つに半球面を分割する方法である(図2.2 (b))．本章では，

ひとつ目の格子分割法を採用する．その理由は，ひとつ目の格子分割法の方が 二つ目と比べて，陰格子よりも格子生成時間がかかる陽格子の面積が小さく，

その分全体の格子生成時間が短縮できるためである．以下では，与えられた魚 眼画像から，ひとつ目の格子分割法における1)と2)の要素格子にそれぞれ対応 する緯度経度画像（以下，それぞれ低緯度画像，高緯度画像）を生成する手順 について述べる．

図 2.1 提案手法の手順

図 2.2 半球面上の重合格子．水色・ピンク色のメッシュがそれぞれ陰格子(低緯 度画像)・陽格子(高緯度画像) を表す．提案手法は(a)の格子分割法を採用して いる．

まず，低 緯度画 像は ，

𝑀 𝑀

のサイ ズの緯 度経 度画像の (

,

) 画素 (

=

⌊𝑀 + ⌋, ⌊𝑀 + ⌋ + , , ⌈Ѳ

_max

𝑀 + ⌉ = , , , 𝑀

に 魚 眼 画 像

の(

′, ′

)画素の画素値をマッピングし，その矩形領域を画像として切り出すこと

により得られる(図2.1の下(2))．ここで，

⌊ ⌋は 以下の最大の整数， ⌈ ⌉は 以上

の最小の整数であり，

′

と

′

は式(2.1) より次式のように表される(導出は省略)．

= ⌊ 𝑓

𝑀 cos

𝑀 + ⌋

,

= ⌊ 𝑓

𝑀 sin

𝑀 + ⌋

(2.2)

次 に ， 高 緯 度 画 像 は ，

𝑀 𝑀

の サ イ ズ の 緯 度 経 度 画 像 の (

,

) 画 素 (

, = ⌊𝑀 + ⌋, ⌊𝑀 + ⌋ + , , ⌈ 𝑀 + ⌉

)に魚眼画像の(

′, ′

) 画素 の画素値をマッピングし，その矩形領域を画像として切り出すことにより得ら れる(図 2.1 の上の(2))．ここで，

′

と

′

は式(2.1) より次式のように表される．

′ = ⌊

𝑓𝜃 cos +

⌋,

′ = ⌊𝑓𝜃 sin + _𝑦⌋

(2.3)

ここで，𝜃と は，陰陽格子における二つの要素格子間の座標変換式より，次式 で与えられる．

𝜃 = arc cos [sin

𝑀 cos

𝑀 ], = arc cot [tan

𝑀 sin

𝑀 ]

(2.4)

以上の手続きで得られた高緯度・低緯度画像は，幾何ひずみが補正された矩 形の画像なので，既存の任意の画像特徴点検出手法がそのまま適用できる(図 2.1の上と下の(3))．高緯度・低緯度画像の特徴点検出を行った後，魚眼画像か ら高緯度・低緯度画像を生成した手順と同じ要領で，魚眼画像の各画素ごとに，

高緯度画像または低緯度画像の対応する画素を求める(計算式は省略)．このよ うに対応付けられた高緯度画像または低緯度画像の画素が特徴点として検出さ

れていれば，魚眼画像の画素も特徴点と判定する(図2.1の(4))．ここで，高緯 度・低緯度画像の重複領域の特徴点集合をクラスタリングして統合するなどし て，冗長な点を排除することは可能である．しかし，画像の特徴点のスパース 性により，単純な統合方法でも十分な結果が得られることから，今回は処理速 度を優先させている．ただし，精度を向上させたり連続的な特徴量を抽出する ためには，例えば要素格子間の解像度比や重複領域における格子系の傾きなど を考慮して要素格子間で情報交換を行う方法が有効と考えられる[9]．

2.3 実験結果

2.3.1 合成画像

CGで合成した魚眼画像(図2.3のグラフ内の画像)を入力とし，定量評価を行っ た．魚眼画像の画素サイズ，焦点距離，画像中心は，後述の2.3.2の実験と同じ にした．(1)魚眼画像にそのままShi-Tomasi特徴点検出器を用いる手法(以下，

手法(1))，(2)魚眼画像にそのままHarris特徴点検出器を用いる手法(以下，手 法 (2)) ， (3) 提 案 手 法 の 格 子 分 割 に よ り 得 ら れ た 高 緯 度 ・ 低 緯 度 画 像 に Shi-Tomasi特徴点検出器を用いる手法(以下，手法(3))，(4)提案手法の格子分 割により得られた高緯度・低緯度画像にHarris特徴点検出器を用いる手法(以下，

手法(4))，の計4つの特徴点検出手法の性能比較を行った．本節の実験では，

MATLAB の関数cornerを利用した．

特徴点検出の判定基準は，上述の入力画像の特徴点を目視で抽出した画素の 集合を正解集合とし，(1)-(4)の各手法で検出された各特徴点ごとに，その点が 正解集合に属するある画素から一定距離内にある場合は正検出，そうでなけれ ば 誤 検 出 と し た ． 検 出 性 能 の 評 価 指 標 と し て ， Precision ， Recall ， Precision-Recall曲線，MAP（Mean Average Precision），最大F値を用いた．

ここで，Precisionは(正しく検出された特徴点の個数)/(検出された特徴点の個 数)，Recallは(正しく検出された特徴点の個数)/(正解集合の要素の個数)，

Precision-Recall曲線は，検出手法のパラメータの値を変えながら，横軸に Recall，縦軸にPrecisionをプロットした曲線で，Precision-Recall曲線が右上 にあるほど検出性能が高いことを表す．ここでは，Precision-Recall曲線を描 くため，(1)-(4)の各手法においてcorner関数のパラメータquality levelの値 を変化させた．また，手法(2)，(4)において，Harris特徴点検出器のパラメー タ sensitivity factor は 最 も よ い 値 と さ れ て い る 0.04 に 固 定 し た ． MAP は Precision-Recall曲線の面積に相当する量，F値（F-Measure）はPrecisionと Recallの調和平均(2×Precision×Recall)/(Precision +Recall)であり，最大F 値はパラメータを変えたときのF値の最大値である．MAPと最大F値はどちらも値 が大きいほど検出性能が高いことを表す．

図2.3に，上記の実験条件の下で得られたPrecision-Recall曲線を示す．図2.3 より，Recallが0.15付近の値より低いときは手法(1)(手法(2))が手法(3)(手法 (4))よりPrecisionが高いが，それ以上にRecallが高いときは手法(3)(手法(4)) が手法(1)(手法(2))よりPrecisionが常に高くなっていることがわかる．表1に 各手法のMAPと最大F値をまとめる．表2.1では，手法(3)(手法(4))が手法(1)(手 法(2))よりMAPと最大F値共に大きな値が得られている．以上のことから，

Shi-TomasiとHarrisいずれの特徴点検出器を採用する場合においても，提案手 法を用いることにより，従来手法の特徴点検出性能が改善されたことがわかる．

図2.3 特徴点検出手法によるPrecision-Recall 曲線

表2.1特徴点検出手法の性能比較

ShiTomasi Harris Ours-ShiTomasi Ours-Harris MAP 0.826 0.2017 0.2566 0.3480 最大 F 値 0.1892 0.2368 0.3723 0.5013

2.3.2 実画像

等距離射影方式の魚眼レンズを装着したカメラで実際に撮影した魚眼画像を 用いて，提案手法の有効性を検証した．魚眼画像の画素サイズは2048 × 1536 で，画像中心と焦点距離は既存の魚眼画像キャリブレーション手法[10]を用い て推定した．ここで画像のアフィンひずみは考慮しなかったが，必要ならば[11]

を参照されたい．本節の実験においても，2.3.1と同じ手法を比較し，MATLABの 関数cornerを利用した．図2.4(a)と図2.4 (b) (図2.4 (c)と図2.4 (d))に，魚 眼レンズカメラを鉛直方向(水平方向) に向けて撮影した画像にShiTomasi，

ours-ShiTomasiとHarris，ours-Harrisをそれぞれ適用した結果を示す．ここで，

従来手法(ShiTomasi，Harris)によってのみ検出された特徴点をシアン，提案手 法(ours-ShiTomasi，ours-Harris)によってのみ検出された特徴点を紫，両手法 で検出された特徴点を黄で色分けして同じ画像上にプロットした．なお，検出 特徴点の画素数が図2.4(a)と図2.4(b)の実験では約700，図2.4(c)と図2.4(d)の 実験では約1，900となるように，パラメータquality levelの値を手動で調整し た．従来手法では，特徴点が画像の周辺部より中央部に検出される傾向にあり，

未検出や誤検出が見られるのに対し，提案手法では良好な特徴点検出がなされ ていることがわかる．

図 2.4 特徴点検出手法の比較．

上：鉛直方向に撮影した画像，下：水平方向に撮影した画像

2.4 まとめ

陰陽格子を半球面のために修正した重合格子を用いて一般の画像を対象とす る特徴点検出手法を魚眼画像に適用できるように拡張する手法を提案した．本 手法の特長は，既存の画像特徴点検出手法のコードを修正することなくそのま ま利用できることである．

第 3 章

画像再構成を行わない魚眼画像からの特徴点検出

3.1 はじめに

魚眼レンズは広視野角撮影を手軽に行うことが可能で，広域監視，管の内壁 の検査，テレビ会議システムなど様々な用途に利用されている．この魚眼レン ズを装着したカメラにより撮影された画像（以下，魚眼画像）から特徴点を抽 出する際，多くの従来手法では，魚眼画像を複数領域に分割して得られた複数 枚の平面画像や，歪み補正と超解像を用いて得られた一枚の平面画像を再構成 し，これらに通常の特徴点抽出手法を適用することが多い．このようにして得 られた特徴点抽出結果は，画像の再構成結果に依存する．本章では，入力とし て与えられた魚眼画像からそのまま直接かつ高速に特徴点抽出を行う手法を提 案する．

3.2 提案手法

提案手法では，次のように魚眼画像の特徴点検出を行う．1) 魚眼画像をX 方 向とY 方向についてそれぞれ差分演算を行って，歪みを含んだ一階/二階微分画 像を生成する．2) 魚眼画像の直交座標系における微分と球面画像の極座標系に おける微分の関係式に基づき，歪みのない球面画像の一階/二階微分画像を生成 する．3) 球面画像の一階/二階微分画像と特徴点らしさの尺度を用いて，魚眼 画像の特徴点検出を行う．まず，カメラの内部パラメータ

, , 𝑓を既知とし，

𝑥 = 𝑋 𝑓, 𝑦 = 𝑌 𝑓

とおくと，次式のように表される．

𝑥 = 𝜃 cos , 𝑦 = 𝜃 sin (3.1)

また，魚眼画像

𝑄 𝑋, 𝑌 = 𝑄 𝑋 𝑥, 𝑦 = 𝑞 𝑥, 𝑦

を単位球面に写像して得られた 球面画像を𝑝 𝜃, = 𝑝 𝜃 𝑥, 𝑦 , (x,y)) と表す．このとき，式(3.1)に連鎖律を用 いると，次式が得られる．

[ 𝑝_𝜃 𝜃𝑝_𝜃] = [

1

𝑠₁ 𝑠₁

1

] [ 𝑞

𝑞 ] (3.2)

ここで，

𝑠

₁

= sin ,

₁

= cos

である．

式(3.2) から，𝑝の𝜃 , に関する一階微分と二階微分は，次式のようにまとめ られる．

[

𝑝𝜃𝜃

𝜃𝑝_𝜃

𝜃 𝑝 𝜃𝑝_𝜃 𝜃 𝑝

]

=

[

𝑠

𝑠 0 0

𝑠

𝑠 0 0

𝑠

𝑠

0 0

0

𝑠

𝑠 0

𝑠 𝑠

] [

𝑞_𝑥𝑥 𝑞_𝑥𝑦 𝑞_𝑦𝑦

𝜃𝑞_𝑥 𝜃𝑞_𝑦

]

(3.3)

ここで，𝑠₁

= sin ,

₁

= cos は上述で定義した通りであり，𝑠

₂

= sin ,

₂

=

cos である．𝑝

_𝜃𝜙

= 𝑝

_𝜙𝜃であることも確認できる．また，一階微分に対しては

中央差分，二階微分に対しては二階中央差分を用いて，魚眼画像座標系におけ る一階微分と二階微分 𝑞

, 𝑞

, 𝑞

, 𝑞

, 𝑞 , 𝑞

を次式のように近似する．

𝑞 ≈ 𝑓² 𝑄𝑖,𝑗+1 𝑄𝑖𝑗+ 𝑄𝑖,𝑗−1

𝑞 = 𝑔 ≈𝑓²

𝑄𝑖+1,𝑗+1 𝑄𝑖+1,𝑗−1 𝑄𝑖−1,𝑗+1+ 𝑄𝑖−1,𝑗−1 𝑞 ≈ 𝑓² 𝑄𝑖+1,𝑗 𝑄𝑖𝑗+ 𝑄𝑖−1,𝑗

𝑞 ≈𝑓

(𝑄𝑖+1,𝑗 𝑄𝑖,𝑗−1)

𝑞 ≈𝑓

𝑄𝑖+1,𝑗 𝑄𝑖−1,𝑗

(3.4)

ここで，𝑄_𝑖,𝑗は魚眼画像𝑄の画素( , ) における画素値である．以上のように，

本手法は，まず魚眼画像から歪みなどを考慮しない通常の方法で各微分値を求 め（式3.3），次にこれらの微分値同士の非線形結合により歪みや空間解像度の 不均一性を考慮した微分値を算出する（式(3.3)）．

次に，ある特徴点検出手法で用いられている特徴点らしさの尺度（以下，特 徴点尺度）を極座標系に拡張することを考える．球面画像𝑝 𝜃, の 𝜃, におけ る勾配ベクトルは，次式のように書ける．

∇𝑝 𝜃, = (𝑝_𝜃,

sin 𝜃𝑝_𝜙)

𝛵 (3.5)

したがって，球面画像𝑓上のある等高線{ 𝜃, ∈ [0, Ѳ_𝑚𝑎

] [0, ǀ𝑝 𝜃, = 𝑜𝑛𝑠𝑡. }

の画素位置

𝜃,

における曲率K は，次式で与えられる．

K = ∇^𝛵( ∇𝑝 ǀǀ∇𝑝ǀǀ)

= 𝜕

𝜕𝜃 (

𝑝𝜃

√𝑝_𝜃²+ 𝑝_𝜃² 𝑠 𝑛²𝜃)

+sin 𝜃

𝜕

𝜕

𝑝𝜃sin⁻¹𝜃

√𝑝_𝜃²+ 𝑝_𝜙² 𝑠 𝑛²𝜃

=𝑝_𝜃𝜃𝑝_𝜙² 𝑝_𝜃𝜙𝑝_𝜃𝑝_𝜙+ 𝑝_𝜙𝜙𝑝_𝜃²+ 𝑝_𝜃𝑝_𝜙²cot 𝜃 𝑝_𝜃²+𝑠 𝑛²𝜃 𝑝^𝜙2

32𝑠 𝑛²𝜃

(3.6)

このとき，特徴点尺度C [7]は次式のように書ける．

𝑪 = ǀǀ∇𝑝 𝜃, ǀǀ^𝛾𝐾

=𝑝𝜃𝜃𝑝_𝜙² 𝑝𝜃𝜙𝑝𝜃𝑝𝜙+ 𝑝𝜙𝜙𝑝_𝜃²+ 𝑝𝜃𝑝_𝜙²cot 𝜃 𝑝_𝜃²+𝑠 𝑛²𝜃 𝑝^𝜙2

3−𝛾

2 𝑠 𝑛²𝜃 (3.7)

ここで，C は，

𝛾 =

のときKitchen-Rosenfeld corner detector[3]，

𝛾 = 0

の と き Zuniga-Haralick corner detector[8] ，

𝛾 =

の と き Lindeberg corner detector[4]にそれぞれ対応する．後述の実験では，Kitchen-Rosenfeld corner detector を用いた．

3.3 実験結果

実験で用いた魚眼レンズは等距離射影方式のもので，魚眼画像の画素サイズ は2048×1536であった．提案手法では，画像中心(

,

)と焦点距離

𝑓

をあらかじ め求めておく必要がある．魚眼レンズカメラの校正手法はいくつか知られてい るが[2]，[9]，今回の実験では，文献[9]を参考にして，以下の手順に従って，

校正を行った．1) A1サイズの白と黒の横縞格子パターンを魚眼レンズカメラで ほぼ垂直な2つの方向から撮影する．2)各画像ごとに，画像内の曲線上のエッジ 画素の集合に楕円当てはめを行うことにより楕円曲線群を抽出する．3)楕円曲 線間の2つの交点を求め，これらを両端とする線分を求める．このようにして画 像中心(

,

)と焦点距離𝑓を推定した．なお，ここでは画像のアフィン歪みは考 慮していないが，必要ならば[5]，[6]などの文献を参照されたい．図3.1(a)は 既存の特徴点検出手法のひとつであるKitchen-Rosenfeld corner detector[3]

（以下，通常画像用の手法）をそのまま魚眼画像に適用した結果を示す．図 3.1(b)は，魚眼画像を球面にマッピングした球面画像に対し，[10]の方法を用 いて得られた2枚の緯度経度画像に通常画像用の手法をそれぞれ適用した結果 を示す（以下，画像再構成を行う手法）．図3.1(c)は提案手法を用いた結果を 示す．図3.1(a)-(c)では，いずれも検出された特徴点の個数が約1，750 となる ようにしきい値を設定した．図3.1(d)-(f)は図3.1(a)-(c)の左下の白い長方形 で囲まれた領域（以下，長方形領域），図3.1(g)-(i)は図3.1(a)-(c)の右上の

長方形領域を拡大表示したものである．通常画像用の手法を用いて得られた図 3.1(d)，(g)では非特徴点が誤検出されているのに対し，画像再構成を行う手法 や提案手法を用いて得られた図3.1(e)，(f)，(h)，(i)ではこのような誤検出が 回避されている．上記と同様，図3.1(j)-(l)は図3.1(a)-(c)の左上の長方形領 域，図3.1(m)-(o)は図3.1(a)-(c)の右下の長方形領域を拡大表示したものであ る．通常画像用の手法を用いて得られた図3.1(j)，(m)では特徴点が検出されて いないのに対し，画像再構成を行う手法や提案手法を用いて得られた図3.1(k)，

(l)，(n)，(o)ではこのような未検出が回避されている．以上により，魚眼画像 の特徴点検出では，通常画像用の手法は不十分であり，提案手法と画像再構成 を行う手法は同等の検出性能を持つことが確認された．画像再構成を行う手法 と提案手法のファイル入出力を除いた各計算時間は，2.8GHzの計算機でそれぞ れ約20秒，約8秒であり，処理時間は2.5倍ほど改善された．

提案手法の性能を定量的に評価するためには，特徴点の明確な真値をもつ画 像を用いる必要がある．そこで，チェッカーフラグパターンを仮想の魚眼レン ズカメラで撮影した合成画像を入力として，上記と同様の方法で特徴検出性能 を比較した結果を図3.2に示す．図3.2(a)の左右2枚の画像は通常画像用の手法 を用いた結果で，左の画像はKitchen-Rosenfeld corner detector[3]を用いた 結果，右の画像は標準的に用いられている特徴点検出器のひとつであるHarris corner detector[1]を用いた結果を示す．これらの特徴点尺度のしきい値や感 度係数については，試行錯誤で最もよいと思われる値を選択した．いずれも画 像の周辺部に特徴点の未検出が生じている．これに対し，図3.2(b)，(c)に示す 画像再構成を行う手法と提案手法では正しく特徴点検出がなされていることが わかる．

図3.1 従来手法と提案手法の比較（実画像）

(a) (b) (c)

(a)通常画像用の手法 (b)画像再構成を行う手法 (c)提案手法

図3.2 従来手法と提案手法の比較（合成画像）

3.4 まとめ

微分幾何学に基づく特徴点抽出フィルタを魚眼レンズ画像のために拡張した．

本章で提案する手法は，魚眼レンズ画像の幾何学的補正と画像フィルタリング を同時に行う．これより，与えられた魚眼レンズ画像を平面画像や球面画像な ど異なる画像に変換することなく直接そのまま特徴点検出を行うことが可能と なった．

第 4 章

バネモデルを用いた全天周画像における前景拡大

4.1 はじめに

全天周画像は，一般に魚眼レンズなどの広角レンズを用いて周囲360度全方向 をくまなく撮像した画像列を球面上に展開・統合することで得られる[17]．最 近では，全天周画像をワンショットで撮影できるカメラや全天周画像をパノラ マ合成するスマートフォン用アプリケーションも利用されている．全天周画像 は，一般の画像と比較して前景領域の占める面積比が小さく，スマートフォン などの小型画面では視認がしばしば困難になる．本章では，全天周画像の視認 性を向上させるため，全天周球面画像の指定された前景領域を相似拡大しつつ 他の領域を違和感なく縮小する問題（以下，前景拡大）を扱う．

一般の画像の前景拡大は，画像リターゲティング(image retargeting)の手法 を用いて実現できる．画像リターゲティングは，画像を異なるサイズ・アスペ クト比の小型画面に表示する際，画像の視認性を維持するため，重要領域の面 積比が拡大された画像に変換するもので，2005年にSetlurらによって提唱され た[10]．それ以来，画像リターゲティングの研究は，携帯端末やタブレット端 末の普及に伴って現在まで盛んに行われてきている[1]，[4]， [6]～[9]，[11]，

[13]～[16]．既存の画像リターゲティング手法は，離散的手法[1]，[7]～[9]，

[15]と連続的手法[2]～[4]，[6]，[13]，[14]，[16]に大別できる．いずれも一 般の画像を対象としており，球面画像に適用可能なリターゲティング手法は，

我々の知る限り存在しない．連続的な画像リターゲティング手法として，肖ら はバネモデルを用いた画像リターゲティング手法を提案している[16]．彼らの バネモデルは，全天周球面画像の三角形メッシュ構造[5]とも親和性があり，球 面構造へ容易に拡張できると考えられる．本章では，運動方程式が高速に解け るように簡略化されたバネモデルを用いて球面画像の前景拡大を行う手法を提 案する．実画像を用いて実験を行い，本手法の有効性を確認する．

4.2 提案手法

市販の全天周カメラで撮影されたりWebサイトに公開されている全天周画像 は，縦方向を光入射方向の極角，横方向を光入射方向の方位角とする矩形画像

（以下，緯度経度画像）で提供されることが多い．提案手法では，緯度経度画 像(図4.1左上，横幅を半分にして表示) を球面画像(図4.1右上) に変換する．

ここでは，三次元直交座標系の原点を中心とする単位球面を多数の三角形ポリ ゴンからなる三角形メッシュで近似した測地ドーム（geodesic dome）[5]の頂 点を球面画像の画素（ほとんどが六角形画素，亓角形画素が一部含まれる）と し，各画素値は緯度経度画像の近傍画素間の線形補間により求める(図4.1右上)．

球面画像の画素

= , , 𝑁

の位置に置かれた点（以下，ノード ）と原点

𝑂

を 両端とする長さ1の剛体の棒（以下，リンク ）を仮想的に配置する．また，ノー ド とノード が測地ドームの稜線で連結されているとき，リンク とリンク の間に自然の角度がゼロのトルクバネ（以下，バネ ）を仮想的に配置する(図 4.2)．各リンク は，画素 の画素値を属性として持ち，原点

𝑂

を回転ジョイント として自由な三次元回転運動が可能で，時間の経過に伴いリンク が回転してノ ード が単位球面上を運動する．以下では，各ノードの極座標変数を一般化座標 とする解析力学を用いて，この系の平衡状態を求めることにより，前景拡大さ れた球面画像を生成する手法について述べる．

図4.1 提案手法の流れ

ノード の極角を

𝜃

_𝑖

= , , 𝑁

，方位角を _𝑖

= , , 𝑁

とすると，系の運 動エネルギーΤ は次式で与えられる．

𝛵 𝜔, 𝜔̇ = ∑ 𝐼_𝑖 𝜃̇_𝑖²+ ̇_𝑖²sin²𝜃_𝑖

𝑛

𝑖=1

(4.1)

ここで，

𝐼

_𝑖 はリンク の原点まわりの慣性モーメント，

𝜃

_𝑖

̇ =

^𝑑𝜃_𝑑𝑡^𝑖は極角の時間微分，

̇ =

𝑖 ^𝑑𝜙_𝑑𝑡^𝑖は方位角の時間微分，𝜔 = {𝜃, } = {𝜃_𝑖

,

_𝑖

}

_𝑖=1^𝑁 ，𝜔̇ = {𝜃̇, ̇} = {𝜃_𝑖

̇

_𝑖

̇ }

_𝑖=1^𝑁 で ある．系のポテンシャルエネルギー

𝑈

は次式で与えられる．

𝑈 𝜔 = ∑ ∑ _𝑖𝑗

𝑗∈ _𝑖,𝑗 𝑖 𝑁

𝑖=1

(arc cos sin 𝜃_𝑖cos _𝑖sin 𝜃_𝑗cos _𝑗

+ sin 𝜃_𝑖sin _𝑖sin 𝜃_𝑗sin _𝑗+ cos 𝜃_𝑖cos 𝜃_𝑗 )²

(4.2)

ここで，_𝑖𝑗 はバネ

に作用するねじりモーメントとバネのねじれ角の間の比例 定数であり，次式のようにおく．

=

{

^𝐶_𝐶^𝑓𝑔

𝑏𝑔

画素 と画素 が指定された前景領域に含まれるとき それ以外

ここで，

𝐶

_𝑓𝑔と

𝐶

_𝑏𝑔 は正の定数であり，

0 < 𝐶

_𝑓𝑔

< 𝐶

_𝑏𝑔となるように設定する．次 節で述べる実験では𝐶_𝑓𝑔 = 0.6，𝐶_𝑏𝑔 = 1とした．なお，画像リターゲティングで は重要領域を指定する際，顕著領域検出を行うことが多い．そこで，次節で述 べる実験では，前景領域を指定する際(図4.1右下)，全天周画像を対象とする顕 著性マップ生成手法[18]を用いた． _𝑖 はノード にメッシュの稜線で連結され ている隣接ノードの集合である．

したがって，ラグランジアンL=T –U は次式のようになる．

𝐿 𝜔, 𝜔̇

= ∑ 𝐼𝑖(𝜃̇_𝑖²+ ̇_𝑖²sin²𝜃𝑖)

𝑛

𝑖=1

∑ ∑ _𝑖𝑗

𝑗∈ _𝑖,𝑗 𝑖 𝑁

𝑖=1

(arc cos（sin 𝜃_𝑖cos _𝑖sin 𝜃_𝑗cos _𝑗

+ sin 𝜃_𝑖sin _𝑖sin 𝜃_𝑗sin _𝑗+ cos 𝜃_𝑖cos 𝜃_𝑗）)²

(4.3)

図4.2 仮想バネ

また，各リンクに粘性減衰力が作用すると仮定すると，散逸関数D は次式の ように与えられる．

𝐷 𝜔, 𝜔̇ = ∑ _𝑖 𝜃̇_𝑖²+ ̇_𝑖²sin²𝜃_𝑖

𝑛

𝑖=1

(4.4)

ここで， _𝑖（ = , , 𝑁） は粘性係数である．

式(4.3)，(4.4) をラグランジュの運動方程式

𝑑 𝑑𝑡(_𝜕𝜃^𝜕𝐿

𝑖̇) _𝜕𝜃^𝜕𝐿

𝑖+_𝜕𝜃^𝜕𝐷

𝑖̇ = 0 = , , 𝑁

𝑑 𝑑𝑡(_𝜕𝜙^𝜕𝐿

̇𝑖) _𝜕𝜙^𝜕𝐿

𝑖+_𝜕𝜙^𝜕𝐷

𝑖̇ = 0 = , , 𝑁

に代入することにより，次式の常微分方程式が得られる．

𝐼𝑖𝜃𝑖̈ 𝐼_𝑖 ̇_𝑖²sin 𝜃𝑖cos 𝜃𝑖+ Θ𝑖+ 𝑖𝜃𝑖̇ = 0 （ = , , 𝑁） (4.5)

𝐼𝑖 ̈ + 𝐼𝑖 _𝑖 ̇2𝜃̇2cot 𝜃𝑖+ Φ𝑖+ 𝑖 ̇ = 0 𝑖 （ = , , 𝑁） (4.6)

ここで，Θ_𝑖 とΦ_𝑖 は次式で与えられる．

Θ𝑖=_𝜕𝜃^𝜕𝑈

𝑖 , Φ𝑖=_sin¹_2𝜃

𝑖

𝜕𝑈

𝜕𝜙_𝑖 = , , 𝑁 (4.7)

式(4.5)，(4.6) の解は，時間発展による反復計算で得られる．しかし，リンク の慣性によって振動が生じ，平衡状態に収束するまでには時間がかかる．そこ で，各アームの慣性モーメントを

𝐼

_𝑖

= 0 = , , 𝑁

，粘性係数を _𝑖

= = , , 𝑁 とおく[12]．このとき，式(4.5)，(4.6)は次式のように簡単になる．

𝜃𝑖̇ = Θ𝑖 , ̇ = Φ_𝑖 𝑖 = , , 𝑁 (4.8)

この更新式は，ポテンシャルエネルギー

𝑈

が極値をとる状態，すなわちポテン シャルエネルギー最小原理により力の釣り合い状態になるように，各ノードの 球面上の微小移動を繰り返すことを表している．

いま，球面上のノード数N は大きく，各ノードに連結するノードの集合は平 面凸多角形の頂点をなすと仮定する．このとき，仮想トルクバネの自然の角度 をゼロとしていることから，力の釣り合い状態にあるとき，各ノード の位置ベ クトル𝑂𝑋

⃗⃗⃗⃗⃗⃗⃗

_𝑖 について次式が近似的に成り立つ．

𝑂𝑋_𝑖

⃗⃗⃗⃗⃗⃗⃗ = ^{∑ ∈ 𝑖𝑘𝑖 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗ 𝑗}

|∑ 𝑘_𝑖 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗ _𝑗

∈ 𝑖 | = , , 𝑁 (4.9)

そ こ で ， 更 新 ス テ ッ プ t に お け る 球 面 上 の 各 ノ ー ド i の 位 置 ベ ク ト ル を

𝑂𝑋

_𝑖 ^𝑡

⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ = , , 𝑁 とするとき，次式の更新式を与える．

𝑂𝑋_𝑖 ^𝑡+1

⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ = ^𝜇𝑂 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ^𝑖 + 𝜇𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ _𝑖

|𝜇𝑂 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ _𝑖 + 𝜇𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ _𝑖 | = , , 𝑁 (4.10)

ここで

𝑂 ^𝑡

⃗⃗⃗⃗⃗⃗⃗⃗⃗ =

^{∑ 𝑂𝑋}⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ^𝑡

∈

|∑ 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ^𝑡

∈ | = , , 𝑁

(4.11)

であり，

𝜇

は0と1の間の値をとる定数である．

𝜇

は更新時におけるノードの移動 距離を制御する係数で，大きくしすぎると反復処理の過程で上記の隣接ノード が凸多角形の頂点をなすという仮定が成り立たなくなる恐れがある．次節で述 べる実験では𝜇 =0.5とした．

本手法では，上記の更新手続きを収束するまで繰り返し実行する．その後，

球面画像の各画素ごとに，画素を内部に含む球面三角形の頂点ノードの属性値 の線形補間を行うことにより画素値を計算する(図4.1左下)．

図4.3 全天周球面画像の前景拡大．

左：原画像，右は前景拡大された画像

図4.3 全天周球面画像の前景拡大．

左：原画像，右は前景拡大された画像

図4.4 全天周衛星画像の前景拡大と前景縮小．

左上と左下：原画像，

右上は前景拡大された画像，右下は前景縮小された画像

4.3 実験結果

入力として与えられた緯度経度画像（ 画素数1024 × 2048）を測地ドーム上 にマッピングすることにより，球面画像（画素数655，362）を作成した．この ようにして得られた全天周球面画像と衛星球面画像を図4.3左と図4.4左にそれ ぞれ示す．図4.3右と図4.4(a)右に，これらの入力画像の指定された前景領域を 約2倍に拡大した結果を示す．いずれも指定された前景領域が球面上で等方的に 拡大されており，背景領域においても目立ったアーチファクトはないことがわ かる．また，本章の目的とは異なるが，

𝐶

_𝑓𝑔と𝐶_𝑏𝑔の値を逆にすることにより，図 4.4(b)左の衛星球面画像の指定された前景領域を約半分に縮小した結果を図 4.4(b)右に示す．このように指定領域が拡大するか縮小するかは𝐶_𝑓𝑔と𝐶_𝑏𝑔の値に よって決まることが確認される．

4.4 まとめ

全天周画像は，背景と比べて前景の面積の割合が小さく，一見しただけでは 内容を把握できないことも多い．本章では，解析力学に基づく簡易バネモデル を用いて全天周画像や衛星画像データの球面画像の前景拡大手法を提案した．

今後，拡大対象の周囲に生じるアーチファクトのさらなる抑制，及び拡大され た前景の高解像度化について検討していく．

第 5 章

球面三角法を用いた全天周画像における前景拡大

5.1 はじめに

画像リターゲティング(image retargeting)は，元の画像とは異なるサイズ・

アスペクト比のデバイスへの表示のため，画像の内容を考慮して画像を空間非 一様に変形するもので，Setlurら[9]によって初めて提唱された．それ以来，画 像リターゲティングは，携帯端末やPDAなど中小型ディスプレイデバイスの普及 に伴って現在まで盛んに研究されている[1]～[4]，[6]～[8]，[10]，[11]，[13]，

[14]．

画像リターゲティングの既存手法は，我々の知る限り，いずれも一般の画像 を対象としている．本章では，全天周画像のためのリターゲティング手法を提 案する．本手法は，画像のサイズ・アスペクト比を変更する際に前景領域を相 対的に相似拡大することで画像の視認性を維持・向上させる点では，既存の画 像リターゲティング手法と同じである．しかし，本手法は，既存手法と異なり，

デバイス変更への適応を目的とはしていない．全天周画像は，特に屋外シーン の場合，背景の占める割合が大きく視認が困難な場合が多い．この問題に対処 するため，本手法は画像リターゲティングによって全天周画像の前景拡大 (foreground enlargement)を行う．

画像リターゲティングの既存手法は，離散的手法[1]，[6]～[8]，[13]と連続 的手法[2]～[4]，[10]，[11]， [14] に大別できる．本手法は後者に属し，ト リミングされた全天周画像に対して球面三角法に基づく球面多角形間の点対応 を用いてリターゲティングを行う．実画像を用いて実験を行い，本手法の有効 性を確認した．

5.2 提案手法

5.2.1 ^{球面多角形間の点対応}

原 点

𝑂

を 中 心 と す る 単 位 球 面

𝑆

上 の ( 互 い に 異 な る )

𝑛

個 の 点

𝐴

_𝑖

= , ，

，𝑛 を頂点とし，𝑆上の(互いに頂点以外では交差しない) 𝑛個の

务 弧 (2 点 を 端 点 と す る 二 つ の 円 弧 の 短 い 方 ． 以 下 ， 円 弧 )

𝐴

₁

𝐴

₂，𝐴₂

𝐴

₃， ，𝐴_𝑛

𝐴

₁で囲まれた𝑆上の図形を球面𝑛角形𝐴₁

𝐴

₂

𝐴

_𝑛と表す． 𝑛 個の円弧𝐴₁

𝐴

₂，𝐴₂

𝐴

₃， ，𝐴_𝑛

𝐴

₁をこの順番でたどると，球面𝑛角形𝐴₁

𝐴

₂

𝐴

_𝑛の 外周を反時計回りに一周するものとする．本章では，本手法の説明の準備とし て，球面

𝑛

角形

𝐴

₁

𝐴

₂

𝐴

_𝑛とその上の任意の点

𝑋

と球面

𝑛

角形

𝐴

₁

𝐴

₂

𝐴

_𝑛が与えられ たときに点𝑋 に対応する球面𝑛角形𝐴₁

𝐴

₂

𝐴

_𝑛上の点𝑋の位置を決定する方法に ついて述べる(図5.1)．

平面の三角形の3頂点に関する重心座標からの類推により，点𝑋 の対応点𝑋 の位置ベクトルを

と す る ． こ こ で ，

𝑆 𝑋𝐴

_𝑖

𝐴

_𝑖+1

( = ,

，𝑛) は 球 面 三 角 形

𝑋𝐴

_𝑖

𝐴

_𝑖+1の 面 積 ，

𝑆 𝑋𝐴

_𝑖

𝐴

_𝑖+1

は球面𝑛角形 𝐴

₁

𝐴

₂

𝐴

_𝑛の面積である． 𝐴_𝑛+1は 𝐴₁と読み替える．

𝐴

_𝑛+1， 𝑆 𝑋

𝐴

_𝑖

𝐴

_𝑖+1

( = ,

，𝑛)，𝑆 𝐴₁

𝐴

_𝑛

の意味は，上記と同様である．式

(5.1)は，点 𝑋 と点 𝑋によってそれぞれの球面𝑛角形上で分割される各球面三角 形間の面積比の差が最も小さくなるような点𝑋を点𝑋 の対応点とすることを表 している．

式(5.1)における 𝑆 𝑋𝐴_𝑖

𝐴

_𝑖+1

( = ,

，𝑛)と𝑆 𝐴₁

𝐴

_𝑛

は，球面多角形の面積

の公式[12]により，それぞれ次式のように表さる．

𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗ = ar in

𝑂𝑋⃗⃗⃗⃗⃗ ∈ 𝐴₁ 𝐴_𝑛∑ (𝑆 𝑋𝐴𝑖𝐴𝑖+1

𝑆 𝐴₁ 𝐴_𝑛

𝑆 𝑋𝐴_𝑖𝐴_𝑖+1 𝑆 𝐴₁ 𝐴_𝑛 )

𝑛 2

𝑖=1

(5.1)

図5.1 球面多角形間の点対応

図 5.2 球面三角形の頂角