アピアランスマップを用いた景観画像のための対話的な経年変化編集システム
6
0
0
全文
(2) Vol.2010-CG-139 No.2 2010/7/16. 情報処理学会研究報告 IPSJ SIG Technical Report. これら物理シミュレーションによる手法は, 対象とする経年変化が持つ特性を考慮して写実 的な経年変化を再現することができる. しかし, 特定の経年変化しか扱うことができず, 物理 パラメータの調節も難しい. また, 本研究における目的は画像中の物体の経年変化を再現す ることであるが, これらの手法はすべて 3 次元モデルが対象であり, 2 次元画像に適用する ことも難しい. 一方, イメージベースによる手法として, Gu ら8) や Georghiades ら7) は実在するサンプ ルから, 時間・空間的に変化する反射率を測定し, 材質が徐々に変化する様子を再現した. こ の手法は幅広い経年変化を写実的に表現することができる. しかしながら, 時間変化する素 材の情報を測定しなければならないため, 1 枚の画像に適用することができない. これに対 して, Wang らは 1 つの材質サンプルにおける複数の箇所の反射率から, 経年変化の時系列 モデルであるアピアランスマニフォールドを構築し, 主に 3 次元モデルに指定された進行度 合いの経年変化を与える手法を提案した13) . この手法は時間変化する素材の反射率を測定 する必要がないため, 1 枚の画像にも適用することができる. そこで, Xue らはこのアピア ランスマニフォールドを用いて, 2 次元画像における物体に対して経年変化の進行・後退し た画像を生成できる手法を提案した14) . この手法は陰影を含む画像や複雑な形状を持つ物 体に対しても, 写実的かつ幅広い経年変化を表現することができる. しかし, 計算コストが大 きいためリアルタイムでの編集が難しい. これに対して, 近年 Bandeira らはアピアランス マニフォールドを単純化したアピアランスマップによる手法を提案した1) . この手法は既存. 図 1 Bandeira らの手法の概略⋆1. 手法よりも計算コストが大幅に削減されており, Xue らの手法が分単位の計算時間を要する のに対して, 秒単位の計算時間で結果画像を生成することができる. また, そのような単純化. 点を入れ替えることで, 経年変化の後退を計算することもできる.. にもかかわらず十分写実的な経年変化を生成できる.. つぎに, 入力画像とアピアランスマップから, 経年変化の分布マップ (図 1(c)) と陰影マッ. 2.1 Bandeira らによる経年変化の生成手法. プ (図 1(d)) を生成する. 経年変化の分布マップは, 入力画像の各画素とアピアランスマップ. Bandeira らの手法の概略は図 1 のようになる. まず入力画像から経年変化の時系列モデ. における各点を対応付けたときの, 経年変化度合の値によって生成される. また, 陰影マップ. ルであるアピアランスマップを生成する (図 1(b)). アピアランスマップは, 画像中の物体の. は次のようにして計算される. まず，同じ経年変化度合を持つ画素の輝度値を平均し，入力. 色分布を基に構築する. ユーザは対象とする物体の領域を指定したあと, Lab 色空間で各ピ. 画像の輝度値をその平均値で除算する．これは Xue らの手法14) と同様である．. クセルの情報が ab 平面にプロットされる. それから, ユーザが入力画像上で物体における最. そして経年変化している様子を再現するために, 分布マップを時間変化させる. Bandeira. も経年変化の進行した (古い) 地点 (図 1(a) 赤の点) と経年変化の起こっていない (新しい). らの手法では分布マップ全体に平均値フィルタを適用し平滑化したものを, ステップ毎に元. 地点 (図 1(a) 緑の点) を指定することで, 各点に経年変化度合の情報を保持したアピアラン. の分布マップに加算することで経年変化の広がりを計算している.. スマップを構築する. このとき, 入力画像上で指定された 2 点が, アピアランスマップ上に 対応付けられる (図 1(b) 緑の点および赤の点). 経年変化度合は, アピアランスマップ上の 2. ⋆1 入力画像の作者: Travelin’ Librarian URL: http://www.flickr.com/photos/travelinlibrarian/2844955716/in/photostream. 点をもとに線形にパラメータ化され, 0 から 1 までの値をとる. また, 指定する経年変化の地. 2. c 2010 Information Processing Society of Japan ⃝.
(3) Vol.2010-CG-139 No.2 2010/7/16. 情報処理学会研究報告 IPSJ SIG Technical Report. ができるシステムを提案する. さらに, インタフェース内にはあらかじめ経年変化の素材を テンプレートとしていくつか用意し, 色々な別の素材を簡単に適用できるようにしている. また, 苔などの経年変化による物体表面の凹凸を再現できる手法を述べる. 提案システムの 入力画像は, 経年変化が起きていない領域と, 経年変化が進行している領域とが混在してい るものとする. もし入力画像に全く経年変化が起きていない場合などは Bandeira らの手法 のように, 別画像の経年変化の混在している分布マップをテクスチャとして, 目的の画像の 分布マップにマッピングすればそのような画像にも適用できる.. 3.1 ブラシ型インタフェース ユーザはブラシ型インタフェースを用いることで, 経年変化を指定した領域で編集するこ とができる. ブラシは円形状をしており, 経年変化の進行・後退の選択, ブラシサイズや経年 (a) 入力画像⋆2. (b) 出力画像. 変化の速度の調節ができる. ユーザはマウスによってブラシを動かすことで領域内の経年変 化を編集できる. 経年変化を広げる方法は Bandeira らの手法と同様に, ブラシ領域内で経. 図 2 Bandeira らの手法では適用が難しい画像の例. 最終的に元の画像の陰影マップが合成されるため, (b) は表 面色しか広がっておらず経年変化による凹凸は再現できていない.. 年変化の分布マップを平滑化し, それを元の分布マップに加算している. 図 3 はブラシを使 用して経年変化を進行・後退させている例である. ブラシによる編集には 1 分程度の時間を 要した。提案システムによりユーザは自分の思い通りに経年変化の編集ができる.. 最後に時間変化させた分布マップ (図 1(e)) の経年変化度合とアピアランスマップから物 体の表面色を計算し, 陰影マップを合成することで, 最終的な画像 (図 1(f)) が生成される. 表面色を計算する際には, 別の物体から生成したアピアランスマップを用いることで, 目的 の物体に別の素材を適用することもできる. この手法は幅広い経年変化を大変写実的に再現できる. しかし, 最終的に元の画像の陰影 マップが合成されるため, 経年変化による表面の凹凸は再現することができない. 図 2 は. Bandeira らの手法を凹凸の伴う苔の画像に適用した例である. 図 2(b) は表面色しか変化し ておらず, 凹凸を再現できていないことがわかる.. 3. 提案システム Bandeira らの手法1) は, 経年変化の分布図全体を広げることによって, 物体全体が一様に 変化する様子を再現している. しかしながら現実の物体は周囲の環境によって, 劣化しやす (a) 入力画像⋆3. い場所などが存在する. そのため我々は, ユーザが経年変化が起きやすい場所を考慮できる. (b) (a) の編集結果. 図 3 ブラシ型インタフェースの使用例. ユーザはマウスストロークによってブラシを動かすことで, 経年変化を進 行・後退させることができる. (a) における緑の円は経年変化を後退させるブラシを, 赤の円は進行させるブラ シを表す. 編集には 1 分程度の時間を要した.. ように, ブラシ型インタフェースを用いて指定した領域で経年変化を進行・後退させること. ⋆2 入力画像の作者: Tim Parkin URL: http://www.flickr.com/photos/timparkin/2420912531/. ⋆3 入力画像の作者: Skinnyde URL: http://www.flickr.com/photos/skinnyde/10536492/. 3. c 2010 Information Processing Society of Japan ⃝.
(4) Vol.2010-CG-139 No.2 2010/7/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 3.2 素材テンプレート 目標とする物体に別の物体の素材を簡単に適用できるようにするため, 本インタフェース 内に苔や錆などいくつかの素材テンプレートを用意した. データベースには, 画像の情報と 経年変化の最も進行した地点と経年変化の起こっていない地点の座標の情報を保持させてい る. また, 任意の画像を読み込みその素材を使用することも可能である.. 3.3 経年変化による物体表面の凹凸の再現 図 2 のように, 既存手法では最終的に元の画像の陰影マップを合成しているため, 経年変 化による物体表面の凹凸を再現することができない. そこで提案システムでは, ユーザが指 定した領域内の陰影マップにおける高周波成分を, 経年変化の進行した領域に加算すること でこれを解決している. まず, ユーザは陰影マップ上で図 4(a) のような赤い領域を指定する. (a) 陰影マップ. それから, 経年変化の分布マップの広がりをもとに, 経年変化度合が一定のしきい値を超え たとき, その領域に指定された領域の陰影マップの高周波成分が加算される. 我々の実装で. (b) 出力画像. 図 4 提案手法を用いて経年変化による物体表面の凹凸を再現した例. 図 2(a) の陰影マップ (a) において, 赤い領 域内の高周波成分を, しきい値よりも大きい経年変化度合の領域に加算する. すると表面色の変化だけでなく, (b) のよう苔の凹凸も再現することができる. (a) は見やすくするためにコントラストを強めにしている.. は経年変化度合のしきい値を 0.5 としている. また, 陰影マップの高周波成分は, バイラテ ラルフィルタ2) によって低周波成分を求め, 陰影マップとその低周波成分の差分から計算す る. バイラテラルフィルタによる低周波成分の値は次式によって計算する.. ∑ w(i, j)lj j fi = ∑ j. w(i, j). (1). ||li − lj ||2 ||xi − xj ||2 ) exp(− ) (2) 2 σ1 σ2 2 ここで, i および j は画像の画素を表し, 画素 j は画素 i の近傍の画素である. xi と xj は各 w(i, j) = exp(−. 画素における位置を, li と lj は輝度を表す. 画素 i における低周波成分の値 fi は重み w(i, j) によって計算される. 式 (2) において, σ1 は画素間の距離差の分散を表し, σ2 は輝度差の分 散を表す. σ1 が小さいほど距離差による重みの変化が大きくなり, σ2 が小さいほど輝度差 による重みの変化が大きくなる. 本研究ではフィルタのウィンドウサイズを 11×11, σ1 = 6,. σ2 = 1 とした. 図 4(b) は本手法による適用例である. 図 2(b) と比較してもわかるように. 図 5 異なるブラシサイズにおける計算時間.. 経年変化による物体表面の凹凸を再現できているのが確認できる.. 4. 実. 我々の実装ではアピアランスマップを生成し, 分布マップと陰影マップを生成するのに 100. 験. ミリ秒程かかった. また, バイラテラルフィルタによって陰影マップの低周波成分を求める. 提案システムの実装には C++言語, ライブラリとして OpenGL, GLUT, GLUI, DevIL. のに 2.5 秒程度かかった. 提案システムは経年変化マップを編集し最終的な画像を生成する. を用い, CPU Intel Core i7 2.80GHz, メモリ 4GB, GPU NVIDIA Quadro FX 580 の PC. ための計算を, ブラシによって指定した領域内で行っている. したがって, 編集の際の計算速. 上で実行した. 実験に使用した画像サイズは全て 0.7 から 1.0 メガピクセルの範囲内である.. 度は画像サイズでなくブラシサイズに依存する. 図 5 は異なるブラシサイズによる 1 ステッ. 4. c 2010 Information Processing Society of Japan ⃝.
(5) Vol.2010-CG-139 No.2 2010/7/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 7 (a)⋆5 を経年変化による凹凸を考慮しないで時間変化させた既存手法による結果 (b) と, 経年変化による凹凸 を考慮して時間変化させた提案手法による結果 (c).. 図 6 (b): (a)⋆4 に (c) のアピアランスマップを適用し, 緑領域内をブラシで編集した結果. (d) は物体全体を一様 に変化させた結果.. プあたりの計算時間を示している. ここでは 1 ステップを, 平均値フィルタによる分布マッ プの広がりを 1 度計算し, 表面色の計算と陰影マップの合成を行ったときの処理としている. 本システムはブラシ半径が 400 ピクセル程度であっても, 対話的に編集することができる. 図 6(b) は, インタフェース内の素材テンプレート (c) のアピアランスマップを (a) の画像 に適用し, それをブラシ型インタフェースで編集した結果であり, 図 6(d) は物体全体を一様 に変化させた結果である. 図 6(d) と比較すると図 6(b) はユーザが自由に編集できているこ とがわかる. また, 図 7 および図 8 は (a) の画像を入力として経年変化させた場合の, 経年 変化による凹凸を考慮していない結果 (b) と, 経年変化による凹凸を考慮した結果 (c) であ る. 図 7 は物体全体を一様に変化させ, 図 8 はブラシを使用して編集を行っている. どちら も提案手法による結果の方が, 写実的な経年変化を再現できていると考えられる. 今回の実 験では物体の領域選択に, 事前に画像編集ソフトで作成したマスク画像を使用している. こ. 図 8 (a)⋆6 を経年変化による凹凸を考慮せずに編集した結果 (b) と, 経年変化による凹凸を考慮して編集した結果 (c). ブラシによって緑領域内を編集している.. れらの画像は全て 1 分程度の作業時間で作成することができた.. 領域参照). これは Hertzmann ら9) や Ritter12) らによるテクスチャ合成手法を使えば解決 できると考えている. また, 現在の手法では図 9(b) の赤領域のように, 経年変化を後退させ. しかし現在の手法では, ユーザが指定した領域の陰影テクスチャを単純に並べてマッピン. る際に, 経年変化による凹凸を取り除くことができない.. グしているため, 指定するテクスチャの領域によってはテクスチャの並びが単調になったり, テクスチャのつなぎ目が明瞭になったりし, 結果画像にが不自然になってしまう (図 9(b) 緑. ⋆5 入力画像の作者: butterforfilm URL: http://www.flickr.com/photos/butterforfilm/3949738711/ ⋆6 入力画像の作者: Thorius URL: http://www.flickr.com/photos/thorius/4575223186/. ⋆4 入力画像の作者: Eda Cherry URL: http://www.flickr.com/photos/contusion/3502673492/. 5. c 2010 Information Processing Society of Japan ⃝.
(6) Vol.2010-CG-139 No.2 2010/7/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 参. (a) 入力画像⋆7. 文. 献. 1) Bandeira, D., Walter, M.: Synthesis and Transfer of Time-Variant Material Appearance on Images, Sibgrapi 2009, pp.32-39, 2009. 2) Tomasi, C., Manduchi, R.: Bilateral Filtering for Gray and Color Images, Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India. 3) Desbenoit, B., Galin, E., Akkouche, S.: Simulating and Modeling Lichen Growth, Eurographics 2004, pp.341-350, 2004. 4) Dorsey, J., Pedersen, H. K., Hanrahan, P.: Flow and Changes in Appearance, In Proc. of SIGGRAPH’96, pp.411-420, 1996. 5) Dorsey, J., Hanrahan, P.: Modeling and Rendering of Metallic Patinas, In Proc. of SIGGRAPH’96, pp.387-396, 1996. 6) Dorsey, J., Edelman, A., Jensen, W. H, Legakis, J., Pedersen, H.: Modeling and Rendering of Weathered Stone. In Proc. of SIGGRAPH’99, pp.225-234, 1999. 7) Georghiades, A. S., Lu, J., Xu, C., Dorsey, J., Rushmeier, H.: Observing and Transferring Material Histories, Tech. Rep. 1329, Yale University, 2005. 8) Gu, J., Tu, C., Ramamoorthi, R., Belhumeur, P., Matusik, W., Nayar, S.: TimeVarying Surface Appearance, SIGGRAPH 2006, pp.762-771, 2006. 9) Hertzmann, A., Jacobs, E. C., Oliver, N., Curless, B., Salesin, H. D.: Image analogies, SIGGRAPH 2001, pp.327-340, 2001. 10) Hsu, S., Wong, T.: Visual Simulating Dust Accumulation, IEEE Computer Graphics and Applications, Vol.15, No.1, pp.18-22, 1995. 11) Paquette, E., Poulin, P., Drettakis, D.: The Simulation of Paint Cracking and Peeling, Graphics Interface, pp.59-68, 2002. 12) Ritter, L., Li, W., Agrawala, M., Curless, B., Salesin, D.: Painting with Texture, 17th Eurographics Symposium on Rendering, Nicosa, Cyprus, June 26th-28th, 2006. 13) Wang, J., Tong, X., Lin, S., Pan, M., Wang, C., Bao, H., Guo, B., Shum, H.: Appearance manifolds for modeling time-variant appearance of materials, SIGGRAPH 2006, pp.754-761, 2006. 14) Xue, S., Wang, J., Tong, X., Dai, Q., Guo, B.: Image-based Material Weathering, EUROGRAPHICS 2008, pp.617-626, 2008. 15) Yin, X., Fujimoto, T., Chiba, N.: CG Representation of Wood Aging with Distortion, Cracking and Erosion, The Journal of the Society for Art and Science, Vol.3 No.4, pp.216-223, 2004.. (b) 編集結果. 図 9 提案手法による失敗例. 陰影テクスチャを単純に並べて配置しているため, 緑領域内では並びが単調になり不 自然になっている. また, 現在の手法では経年変化を後退させる際に, 赤領域のように経年変化による凹凸を取 り除くことはできない.. 5. 結. 考. 論. 本稿では景観画像における物体に対して, アピアランスマップを用いて対話的に経年変化 の編集を行えるシステムを提案した. 提案システムはブラシ型インタフェースによって, 指 定した領域で簡単な経年変化の編集を実現した. さらに予め用意した素材のテンプレートに よって, 目標とする物体に別の物体の素材を簡単に適用することが可能である. また, 既存 手法では適用が難しい経年変化による物体表面の凹凸を再現する手法を提案した. 実験で は様々な適用例により, 既存手法よりも対話的に写実的な経年変化の編集を行えることを示 した. しかしながら現在の我々のシステムでは, 経年変化による物体表面の凹凸を再現する際に, テクスチャの並びが単調になったり, テクスチャのつなぎ目が不自然になったりしてしまう. そのため, 4 節で挙げた方法などを用いて, より写実的な経年変化を再現できる手法を考案し たいと考えている. 加えて, 凹凸を取り除く手法についても考案したい. また, 現在分布マッ プの編集は, 平均値フィルタによって広げる方法しか行っていないため, 色々な分布マップ の編集方法を提案することで, ひびなどの経年変化を扱えるようにしたいと考えている.. ⋆7 入力画像の作者: aha42 URL: http://www.flickr.com/photos/arne-halvorsen/3230851083/. 6. c 2010 Information Processing Society of Japan ⃝.
(7)
図
関連したドキュメント
In this paper, we propose an exact algorithm based on dichotomic search to solve the two-dimensional strip packing problem with guillotine cut2. In Section 2 we present some
Using the fact that there is no degeneracy on (α, 1) and using the classical result known for linear nondegenerate parabolic equations in bounded domain (see for example [16, 18]),
“Breuil-M´ezard conjecture and modularity lifting for potentially semistable deformations after
Girault; The Stokes problem and vector potential operator in three-dimensional exterior domains: An approach in weighted Sobolev spaces. Sequeira; A
Section 3 is first devoted to the study of a-priori bounds for positive solutions to problem (D) and then to prove our main theorem by using Leray Schauder degree arguments.. To show
It provides a tool to prove tightness and conver- gence of some random elements in L 2 (0, 1), which is particularly well adapted to the treatment of the Donsker functions. This
For the image-coding applications, we had proposed an efficient scheme to organize the wavelet packet WP coefficients of an image into hierarchical trees called WP trees 32.. In
The benefits of nonlinear multigrid used in combination with the new accelerator are illustrated by difficult nonlinear elliptic scalar problems, such as the Bratu problem, and
