市販の全天周カメラで撮影されたりWebサイトに公開されている全天周画像 は,縦方向を光入射方向の極角,横方向を光入射方向の方位角とする矩形画像
(以下,緯度経度画像)で提供されることが多い.提案手法では,緯度経度画 像(図4.1左上,横幅を半分にして表示) を球面画像(図4.1右上) に変換する.
ここでは,三次元直交座標系の原点を中心とする単位球面を多数の三角形ポリ ゴンからなる三角形メッシュで近似した測地ドーム(geodesic dome)[5]の頂 点を球面画像の画素(ほとんどが六角形画素,亓角形画素が一部含まれる)と し,各画素値は緯度経度画像の近傍画素間の線形補間により求める(図4.1右上).
球面画像の画素
= , , 𝑁
の位置に置かれた点(以下,ノード )と原点𝑂
を 両端とする長さ1の剛体の棒(以下,リンク )を仮想的に配置する.また,ノー ド とノード が測地ドームの稜線で連結されているとき,リンク とリンク の間に自然の角度がゼロのトルクバネ(以下,バネ )を仮想的に配置する(図 4.2).各リンク は,画素 の画素値を属性として持ち,原点𝑂
を回転ジョイント として自由な三次元回転運動が可能で,時間の経過に伴いリンク が回転してノ ード が単位球面上を運動する.以下では,各ノードの極座標変数を一般化座標 とする解析力学を用いて,この系の平衡状態を求めることにより,前景拡大さ れた球面画像を生成する手法について述べる.
図4.1 提案手法の流れ
ノード の極角を
𝜃
𝑖= , , 𝑁
,方位角を 𝑖= , , 𝑁
とすると,系の運 動エネルギーΤ は次式で与えられる.𝛵 𝜔, 𝜔̇ = ∑ 𝐼𝑖 𝜃̇𝑖2+ ̇𝑖2sin2𝜃𝑖
𝑛
𝑖=1
(4.1)
ここで,
𝐼
𝑖 はリンク の原点まわりの慣性モーメント,𝜃
𝑖̇ =
𝑑𝜃𝑑𝑡𝑖は極角の時間微分,̇ =
𝑖 𝑑𝜙𝑑𝑡𝑖は方位角の時間微分,𝜔 = {𝜃, } = {𝜃𝑖,
𝑖}
𝑖=1𝑁 ,𝜔̇ = {𝜃̇, ̇} = {𝜃𝑖̇
𝑖̇ }
𝑖=1𝑁 で ある.系のポテンシャルエネルギー𝑈
は次式で与えられる.𝑈 𝜔 = ∑ ∑ 𝑖𝑗
𝑗∈ 𝑖,𝑗 𝑖 𝑁
𝑖=1
(arc cos sin 𝜃𝑖cos 𝑖sin 𝜃𝑗cos 𝑗
+ sin 𝜃𝑖sin 𝑖sin 𝜃𝑗sin 𝑗+ cos 𝜃𝑖cos 𝜃𝑗 )2
(4.2)
ここで,𝑖𝑗 はバネ
に作用するねじりモーメントとバネのねじれ角の間の比例 定数であり,次式のようにおく.
=
{
𝐶𝐶𝑓𝑔𝑏𝑔
画素 と画素 が指定された前景領域に含まれるとき それ以外
ここで,
𝐶
𝑓𝑔と𝐶
𝑏𝑔 は正の定数であり,0 < 𝐶
𝑓𝑔< 𝐶
𝑏𝑔となるように設定する.次 節で述べる実験では𝐶𝑓𝑔 = 0.6,𝐶𝑏𝑔 = 1とした.なお,画像リターゲティングで は重要領域を指定する際,顕著領域検出を行うことが多い.そこで,次節で述 べる実験では,前景領域を指定する際(図4.1右下),全天周画像を対象とする顕 著性マップ生成手法[18]を用いた. 𝑖 はノード にメッシュの稜線で連結され ている隣接ノードの集合である.したがって,ラグランジアンL=T –U は次式のようになる.
𝐿 𝜔, 𝜔̇
= ∑ 𝐼𝑖(𝜃̇𝑖2+ ̇𝑖2sin2𝜃𝑖)
𝑛
𝑖=1
∑ ∑ 𝑖𝑗
𝑗∈ 𝑖,𝑗 𝑖 𝑁
𝑖=1
(arc cos(sin 𝜃𝑖cos 𝑖sin 𝜃𝑗cos 𝑗
+ sin 𝜃𝑖sin 𝑖sin 𝜃𝑗sin 𝑗+ cos 𝜃𝑖cos 𝜃𝑗))2
(4.3)
図4.2 仮想バネ
また,各リンクに粘性減衰力が作用すると仮定すると,散逸関数D は次式の ように与えられる.
𝐷 𝜔, 𝜔̇ = ∑ 𝑖 𝜃̇𝑖2+ ̇𝑖2sin2𝜃𝑖
𝑛
𝑖=1
(4.4)
ここで, 𝑖( = , , 𝑁) は粘性係数である.
式(4.3),(4.4) をラグランジュの運動方程式
𝑑 𝑑𝑡(𝜕𝜃𝜕𝐿
𝑖̇) 𝜕𝜃𝜕𝐿
𝑖+𝜕𝜃𝜕𝐷
𝑖̇ = 0 = , , 𝑁
𝑑 𝑑𝑡(𝜕𝜙𝜕𝐿
̇𝑖) 𝜕𝜙𝜕𝐿
𝑖+𝜕𝜙𝜕𝐷
𝑖̇ = 0 = , , 𝑁
に代入することにより,次式の常微分方程式が得られる.
𝐼𝑖𝜃𝑖̈ 𝐼𝑖 ̇𝑖2sin 𝜃𝑖cos 𝜃𝑖+ Θ𝑖+ 𝑖𝜃𝑖̇ = 0 ( = , , 𝑁) (4.5)
𝐼𝑖 ̈ + 𝐼𝑖 𝑖 ̇2𝜃̇2cot 𝜃𝑖+ Φ𝑖+ 𝑖 ̇ = 0 𝑖 ( = , , 𝑁) (4.6)
ここで,Θ𝑖 とΦ𝑖 は次式で与えられる.
Θ𝑖=𝜕𝜃𝜕𝑈
𝑖 , Φ𝑖=sin12𝜃
𝑖
𝜕𝑈
𝜕𝜙𝑖 = , , 𝑁 (4.7)
式(4.5),(4.6) の解は,時間発展による反復計算で得られる.しかし,リンク の慣性によって振動が生じ,平衡状態に収束するまでには時間がかかる.そこ で,各アームの慣性モーメントを
𝐼
𝑖= 0 = , , 𝑁
,粘性係数を 𝑖= = , , 𝑁 とおく[12].このとき,式(4.5),(4.6)は次式のように簡単になる.
𝜃𝑖̇ = Θ𝑖 , ̇ = Φ𝑖 𝑖 = , , 𝑁 (4.8)
この更新式は,ポテンシャルエネルギー
𝑈
が極値をとる状態,すなわちポテン シャルエネルギー最小原理により力の釣り合い状態になるように,各ノードの 球面上の微小移動を繰り返すことを表している.いま,球面上のノード数N は大きく,各ノードに連結するノードの集合は平 面凸多角形の頂点をなすと仮定する.このとき,仮想トルクバネの自然の角度 をゼロとしていることから,力の釣り合い状態にあるとき,各ノード の位置ベ クトル𝑂𝑋
⃗⃗⃗⃗⃗⃗⃗
𝑖 について次式が近似的に成り立つ.
𝑂𝑋𝑖
⃗⃗⃗⃗⃗⃗⃗ = ∑ ∈ 𝑖𝑘𝑖 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗ 𝑗
|∑ 𝑘𝑖 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗ 𝑗
∈ 𝑖 | = , , 𝑁 (4.9)
そ こ で , 更 新 ス テ ッ プ t に お け る 球 面 上 の 各 ノ ー ド i の 位 置 ベ ク ト ル を
𝑂𝑋
𝑖 𝑡⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ = , , 𝑁 とするとき,次式の更新式を与える.
𝑂𝑋𝑖 𝑡+1
⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ = 𝜇𝑂 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝑖 + 𝜇𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝑖
|𝜇𝑂 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝑖 + 𝜇𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝑖 | = , , 𝑁 (4.10)
ここで
𝑂 𝑡
⃗⃗⃗⃗⃗⃗⃗⃗⃗ =
∑ 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝑡∈
|∑ 𝑂𝑋⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝑡
∈ | = , , 𝑁
(4.11)
であり,
𝜇
は0と1の間の値をとる定数である.𝜇
は更新時におけるノードの移動 距離を制御する係数で,大きくしすぎると反復処理の過程で上記の隣接ノード が凸多角形の頂点をなすという仮定が成り立たなくなる恐れがある.次節で述 べる実験では𝜇 =0.5とした.本手法では,上記の更新手続きを収束するまで繰り返し実行する.その後,
球面画像の各画素ごとに,画素を内部に含む球面三角形の頂点ノードの属性値 の線形補間を行うことにより画素値を計算する(図4.1左下).
図4.3 全天周球面画像の前景拡大.
左:原画像,右は前景拡大された画像
図4.3 全天周球面画像の前景拡大.
左:原画像,右は前景拡大された画像
図4.4 全天周衛星画像の前景拡大と前景縮小.
左上と左下:原画像,
右上は前景拡大された画像,右下は前景縮小された画像