色彩画像分析における色変化の構造抽出と可視化

全文

(1)人文科学とコンピュータ 57−２（２００３．１．２４）. 色彩画像分析における色変化の構造抽出と可視化小林光夫∗ ，高橋良∗∗ ，吉識香代子 ∗. 概要人文学研究において，色彩画像分析は重要である．筆者らは分析ソフトウェアの開発ならびにそれを用い分析を行ってきた [1 など]．これまでのソフトウェアは色空間内の色分布の扱いを中心とし，画面上の色変化は考慮していなかった．本報告では，まず，画面上の色変化の構造抽出および可視化の手法を提案する．さらに，本手法をいくつかの絵画作品に適用し，単なる色分布からは知ることのできない色変化の構造が抽出されることをを示す．. Extraction and visualization of structure of spatial variation of color for image analysis KOBAYASHI Mituo∗ , TAKAHASHI Ryo∗∗ , YOSHIKI Kayoko∗. Abstract This paper proposes a method of extraction and visiualization of structure of spatial variation of color on the picture plane. Application of the method to several paintings revealed the structure of gradation in a color space, which could not be known by usual methods.. はじめに. 1. 色彩研究において，色彩画像分析は欠かせない．これまで，絵画やデザイン画などの色彩画像の分析に際し，主に色空間において，色分布の観察や，代表色を用いた計量分析を行い，大まかな配色構造に関する特徴を見出してきた [1]．. 域分割法またはエッジ検出法はいろいろあるが [2, 3]，これらは色変化の構造を明解にするものではなく，とくにグラデーション領域を表現するには不十分である．. L*. しかし，色空間でクラスタリングを行なう代表色抽出 (図 1) では，画面上でなめらかに変化する色 (グラデーション) や面積比の少ないアクセント色などを捉えることはできない．そこで本研究では，画像の空間的な色変化に着目し，より詳細な構造を数理的に表わすことを試みる．画面上で，同じ色の領域や，位置を変化させたときに対応する色がなめらかに変化する領域を “グラデーション領域” とよび，グラデーション領域の境界では色が急激に変化すると考えることにする．領域や境界を抽出するための，いわゆる領 ∗ ∗∗. 電気通信大学情報通信工学科電気通信大学大学院情報工学専攻. v* 0. u*. L* 9. 1. 5. 7. 3. v*. 0. u*. 図 1: 原画像の色分布 (上) と代表色分布 (下). The University of Electro-Communications Graduate School of the University of Electro-Communications. −9− 1. 6. 82 4.

(2) そこで，まず画像の色変化の構造を抽出するための新しい手法を述べる．さらに，実際の絵画作品に対し，その手法を適用した結果について述べ，有効性を示す．. 理論. 2 2.1. 色彩画像の区分的線形近似. 画面は，簡単のため矩形とし，縦，横の幅をそれぞれ H および W とする．この画面を，縦横それぞれ m(≥ 1) および n(≥ 1) 分割し，合計 n × m 個の区画を形成する．区画ごとに，原点を区画の中心にとり，横方向に x 軸 (右が正の向き) を，縦方向に y 軸 (上が正の向き) をとる．画像は，画面上のほとんどの点に対し，色空間内の色を対応させる写像と考えられる．そこで，区画内のほとんどの点 (x, y) に対応する色空間内の色を f (x, y) = {f1 (x, y), f2 (x, y), f3 (x, y)} と書き．この色の各成分 fi (x, y) (i = 1, 2, 3) を，変数 x，y の 1 次式 (1) fˆi = ai x + bi y + ci. ci =. 1 ∆x∆y. D. fi (x, y)dxdy.. ここで，D は，横幅 ∆x (≥ 0)，縦幅 ∆y(≥ 0) とする区画を表わす．式 (2) の右辺には，∆x， ∆y が分母に現れているが，f がなめらかな関数ならば，D における積分の項がやはり ∆x， ∆y の式となり，けっきょく ai ，bi ，ci の主要項は ∆x，∆y に依存しないことがわかる．しかし，D 内に f の飛びなどがある場合には，式 (2) の分母の ∆x，∆y が消去されない．得られた ai , bi , ci を用い，式 (1) により区画の色を近似する．なお，式 (1) の定数項 (c1 , c2 , c3 ) は，区画内の平均色，いわゆるモザイク画の色となることに注意する．この方法を用いて，グラデーション領域をもつサンプルの画像に対し，画像の分割数を変えて近似画像を作成した結果が図 3 である．画像の分割数は，長辺に対する分割数 m を与え，短辺の分割数 n は，出来上がる区画が正方形に近くなるよう決定した： m + 0.5 n= H . W. で近似することにする (図 2)．. 画面空間 W. ^. fi. fi. y. n 分割. H. Δx. (a) 原画像. Δy. x. m分割. 図 2: 初期分割と線形近似すなわち，i = 1, 2, 3 について，残差平方和 . Ri =. D. 2. fi (x, y) − (ai x + bi y + ci ) dxdy. を最小にする係数 ai ，bi ，ci を求めると，次が得られる： 12 ai = xfi (x, y)dxdy, ∆x3 ∆y D 12 yfi (x, y)dxdy, (2) bi = ∆x∆y 3 D. (b) 長辺 10 分割. (c) 長辺 50 分割. 図 3: サンプル画像に対する線形近似の結果図 3b と図 3c の画像の色は，式 (1) および式 (2) から計算される近似色である．(b) が長辺を. 2 −10−.

(3) 10 分割した結果，(c) が長辺を 50 分割した結果であり，黒い線は分割のようすを示している．長辺 10 分割の結果に注目すると，グラデーション領域に含まれる区画に対しては，1 次式の当てはめの精度が良いことがわかる．逆に，複数の領域で構成されている区画，すなわち境界が含まれている区画は，区画内の全色を一つの 1 次式で表現することに無理がある．分割を細かくすれば，境界を含む区画の総面積は小さくなり，したがってグラデーション領域に含まれる区画の総面積は大きくなり，近似が良くなっていくことがわかる．. 2.2. 適応的分割. 境界が存在する区画に対してのみ，区画を細分することを考える．初期分割を粗くしておけば，この方法により無駄な分割を避けることができ，より少ない情報量で画像の構造を表すことが可能となろう．区画内の境界の有無を，近似 1 次式の x, y の係数，すなわち近似平面の傾きに注目して判断する．簡単のため画面を 1 次元として考えよう．ひとつのグラデーション領域に含まれる区画で，区画内の色が 1 次式 (直線) で近似可能だとする．この場合，この区画内で分割数を細かくしても，直線の傾きはほぼ一定である (図 4a)．逆に区画内に境界が存在する場合，区画内で分割を細かくしていくと，境界付近で直線の傾きが急になる (図 4b)．. fi. fi. Δx → 0. Δx → 0. x (a). x (b). 図 4: (a) 区画が単一領域のみの場合と (b) 区画内に境界が存在する場合このような状況がどういう条件で起こるかを数学的に検討したところ，区画内で色 f (以降，. 色の成分を表す i は省略) が Lipschitz 連続かどうかによることがわかった．1 次元画面での近似 1 次式の傾き a は. a=. 12 ∆x3. . xf (x)dx. で表わされる．関数 f が Lipschitz 連続ならば， . xf (x)dx = O(∆x3 ). となり，幅 ∆x → 0 で a は一定の値に収束する．連続ではあるが Lipschitz 条件を満たさない関数，たとえば √ − −x + 1 (x < 0) f (x) = √ x+1 (x ≥ 0) といった場合では，x = 0 での傾きは a = 1 ) となり，幅 ∆x → 0 で発散する．も O( √∆x ちろん，f が連続でない (飛びがある) 場合に 1 は，傾きは a = O( ∆x ) となり，∆x → 0 でやはり発散する．実際のアルゴリズムでは，境界が存在する区画に対して，縦と横を 2 等分して 4 つの子区画を作成し (図 5)，もとの区画 (親区画と呼ぶ) と子区画における傾きの変化を調べる．. y Δy/2. D2 -Δx/2. D1 Δx/2. D D3. D4 -Δy/2. 図 5: 区画の分割. 以下 x 軸方向のみについて考える．親区画の傾きを a，子区画の傾きを ak (k = 1, 2, 3, 4) とする．a は式 (2) で表され，ak は a と同様にして求めることができる． a と ak がほぼ等しければ，子区画はグラデーション領域であると判断し，|ak | が |a| よりある程度大きいならば，境界が存在すると判断する．ここでは，傾きに区画幅をかけ，色の単位にして比較することにした． ∆x 2 |a − ak | は，子区画内での色の成分の差であり，これがある値 µ より大きいならば，子区画は単一領域ではない，すなわち境界が存在すると判断して，分割を進める．. 3 −11−. x.

(4) 2.3. 実際の計算では，子区画の幅があまり小さくなる場合 (∆x, ∆y ≤ τ ) は分割を止めるようにした．以上に示した適応的分割のアルゴリズムをまとめると，図 6 のようになる．. グラデーションの分類. 画面上の 1 点は 2 つの独立変数で表せるので，グラデーション領域を色空間に写すと，一般に 2 次元の曲面を形成する．ただし特別に 1 次元の曲線や，0 次元の点を形成することもある．色空間で曲面となる場合を 2 次元グラデー 1) 画面を n × m 個の区画に初期分割する． 1 次元グラデーショション，曲線となる場合を 2) 各区画について，ン，点となる場合を 0 次元グラデーション (単 2-1) i = 1, 2, 3 について，式 (2) により色) とよぶことにする (図 8)． ai , bi , ci を求める．. 2-2) 区画の縦幅，横幅がいずれも τ より小さければ終了，そうでないなら, • 区画を 4 等分し子区画を作成する． • 4 つの区画全てに対して， - i = 1, 2, 3 について， aki , bki , cki を求める． - i = 1, 2, 3 について，|ai − aki | ∆x 2 または |bi − bki | ∆y の一つでも 2 µ より大なら，2-2 以降を再帰的に行う．そうでなければ終了．. . 図 8: グラデーション領域とその色分布 . 図 6: 適応的分割のアルゴリズム図 4 のサンプル画像に対して，適応的分割を行った結果を図 7 に示す．初期分割は長辺を 5 分割とし，分割の判定のパラメタは µ = 3， τ = 3 とした．ただし，τ はピクセルを単位としている．境界を含む区画は白く抜いて描いた．境界付近が細分され，グラデーション領域と境界を含む領域とに分けられている．また，グラデーション領域はよく近似できていることがわかる．. 前節では，グラデーション領域の色を x と y の 1 次式で近似した．これらの近似色が色空間ではどのように表されるかを考えてみる．式 (1) より，. l1 = a2 b3 −a3 b2 , l2 = a3 b1 −a1 b3 , l3 = a1 b2 −a2 b1 とおいたとき，l1 , l2 , l3 の 1 つでも 0 でなければ，x, y を消去して，. l1 (fˆ1 − c1 ) + l2 (fˆ2 − c2 ) + l3 (fˆ3 − c3 ) = 0 (3) という平面が得られる．このとき区画は 2 次元グラデーション領域を表わす． l1 , l2 , l3 がすべて 0 の場合は，直線あるいは点になるが，a1 , a2 , a3 , b1 , b2 , b3 がすべて 0 ならば，近似色は一点. fˆ1 = c1 , fˆ2 = c2 , fˆ3 = c3. (4). となり，区画は単色領域を表わす．それ以外 (ai , bi のうち 1 つでも 0 でない) ならば，近似色は直線：図 7: 適応的分割の結果. a2 b3 (fˆ1 − c1 ) = a3 b1 (fˆ2 − c2 ) = a1 b2 (fˆ3 − c3 ) (5). 4 −12−.

(5) で表わされる．このとき区画は 1 次元グラデーション領域を表わす．実際のプログラムでは，0 ではなく小さい値 ε (≥ 0) を用い，. l1 2 + l2 2 + l3 2 ≥ ε2 ならば面 (2 次元グラデーション)，それ以外で， a1 2 + a2 2 + a3 2 + b1 2 + b2 2 + b3 2 ≥ ε ならば線 (1 次元グラデーション)，それ以外は点 (単色) として分類を行う．. 2 次元グラデーション領域 10.1%，1 次元グラデーション領域 9.4%，単色領域 80.5%から構成されている 300 × 300 ピクセルのサンプル画像 (図 8 左の画像) について，適応的分割を条件を変えて行なった．画面は，グラデーション領域の区画と境界を含む区画に分けられる．さらにグラデーション領域について，ε を 0.05 として，分類を行なった．その結果を表 1 に示す．表 1: サンプル画像に含まれるグラデーションの分類. τ =3 9.11% 8.23% 82.66%. µ=5 τ =5 8.87% 8.07% 83.06%. τ = 10 8.39% 7.97% 83.64%. τ =3 9.52% 9.98% 80.50%. µ = 10 τ =5 9.38% 9.91% 80.71%. τ = 10 9.54% 9.92% 80.53%. 色分布の形状. (グラデーション). 面 (2 次元) 線 (1 次元) 点 (単色) 色分布の形状. (グラデーション). 面 (2 次元) 線 (1 次元) 点 (単色). (a) F. Marc : “風景の中の馬” (1910 年) 原画像の画面上部に，黄色から白に向かうグラデーションがある．代表色分布 (図 9b) からでは，それを読みとることは困難であるが，図 9d のように背景部分のみを取り出すと，色の変化の様子がよくわかる．図 9e は馬の体とたてがみの部分をとりだした画像と色分布である．馬の体の茶色とたてがみの青の直線的な色変化がわかる． 2 次元グラデーションを主に用いている作品である (図 9f)．. (b) P.Klee : “ポリフォニックにはめ込まれた白” (1930 年) 図 10c から，赤の色相方向に立った形でいくつかの彩度の違うかぎ状の面が作られていることがわかる．図 10d から，色空間上で鈎状となっている鮮やかな赤の色は，画面上でも右と下の部分にかぎ状に描かれている． 2 次元グラデーションを多く用いている作品である．. 傾きの差 µ，細分を止める最小区画幅 τ を変化させても，面，線，点の割合が安定している．画像の構成要素の割合をとらえることに成功している．. 3. るための可視化プログラムを作成した．境界を含む区画は描画せず，グラデーション領域の区画のみ描画した．色空間内の図形 (平面，直線，点) を平均色 (c1 , c2 , c3 ) で塗りつぶして色空間上に描画した．前述の理論を，19 人の画家 252 点の作品に適用し，画像の色変化の構造抽出を試みた．以下では，代表色分布からでは読みとれない構造が，グラデーション領域の色を色空間上で，可視化することにより明らかになった例を示し，考察を行なう．. 絵画画像に対する適用例画像の空間的色変化に関する構造を実際に見. (c) Rembrandt : “ダビデ王の手紙を読むバテシバ” (1654 年) この作品は単色領域の多い (52.38%) 例である．図 11b の代表色分布では，背景である黒の部分が 1 つの色にまとめられ，ている (51%を占めている)．画像のグラデーション分類による点の領域の割合とほぼ等しくなったことは興味深い．. 5 −13−.

(6) L* 9. 10. 8. L*. 6. 9. v*. 3 1. 10. 7. 5. 4. 2. 8 7. 4 5. 0. 1. 6. 2 3. u*. (a) 原画像. 0. (b) 代表色分布 u*. (a) 原画像. (b) 代表色分布. (c) 適応的分割による近似画像と色分布 v*. L*. L*. u*. u*. (d) 背景部分とその色分布. (c) 適応的分割による近似画像と色分布. (e) 馬の体の部分とその色分布 2 次元 1 次元単色. v*. (d) 鮮やかな赤の部分の色分布. 72.47%. 2 次元 1 次元単色. 23.01% 4.53%. 57.19% 33.29% 9.51%. (初期分割数 20，µ = 5, τ = 5, ν = 0.05．) (f) グラデーションの割合. (初期分割数 20，µ = 5, τ = 5, ν = 0.05．) (e) グラデーションの割合. 図 9: F. Marc : “風景の中の馬” の画像に対する適用例. 図 10: P.Klee : “ポリフォニックにはめ込まれた白” の画像に対する適用例. 6 −11−. v*.

(7) 図 11d は，女性の体の部分を取り出した画像とその色分布である．暗い茶色から明るい茶色への変化をし，そこから黄色の方への色相の変化という 2 次元的なグラデーションが見られる．. L* 10. 7. (d) 小野竹喬 : “暑き日を海にいれたり最上川” (1976 年) 単色と 1 次元グラデーションが多く用いられている作品である．太陽の中心のオレンジから周辺の薄いピンクへ，さらに空の紫や青へと色が変化していく様子が見られる (図 12d)．この変化は代表色抽出の色分布 (図 12b) から読み取ることはできない．. 9 8. L*. 6 12. 3. 4. 5. 10. v*. 8 5 6. 9. 0 2. 7. v*. 3. 0. u*. (a) 原画像. 1. 4. u*. (b) 代表色分布. (a) 原画像. (b) 代表色分布. (c) 適応的分割による近似画像と色分布. (c) 適応的分割による近似画像と色分布. (d) 体部分とその色分布. (d) 太陽と空の部分の色分布. 2 次元 1 次元単色. 2 次元 1 次元単色. 26.79% 20.82% 52.38%. 21.08% 37.76% 41.16%. (初期分割数 20，µ = 5, τ = 5, ν = 0.05．) (e) グラデーションの割合. (初期分割数 20，µ = 10, τ = 10, ν = 0.05．) (e) グラデーションの割合図 11: Rembrandt : “ダビデ王の手紙を読むバテシバ” の画像に対する適用例. 図 12: 小野竹喬 : “暑き日を海にいれたり最上川” の画像に対する適用例. 7 −15−.

(8) (e) P. Gauguin : “マンゴーをもつ女” (1892 年) L* 10 9 7. 8. v* 21 3. 5. 4. 6. 0. u*. (a) 原画像. (b) 代表色分布. 1 次元グラデーションが多い例はまれであった．この作品以外では，R. Dufy の作品「自画像」(43.87%) が挙げられる．図 13d から，顔の部分の茶色は，明るさはあまり変化せず，彩度の方向へ直線的に変化していることがわかる． 1 次元グラデーションと 2 次元グラデーションを多く用いている作品である．. 4. (c) 適応的分割による近似画像と色分布. L* u*. L*. v*. u*. v*. (d) 顔の部分の色分布 2 次元 1 次元単色. 34.16% 40.27% 25.57%. (初期分割数 20，µ = 5, τ = 5, ν = 0.05．) (e) グラデーションの割合図 13: P. Gauguin : “マンゴーをもつ女” の画像に対する適用例. おわりに. 色彩画像におけるグラデーション領域を，数量的に表わし抽出する手法を提案した．可視化プログラムを作成し，実際に絵画作品に適用して見たところ，従来の代表色抽出などの手法では捉えられなかった情報を得ることができた．グラデーション領域を 3 種類に分類し，それぞれが含まれる割合について調べることにより，より詳細に色彩的特徴を見られるようになった．さらに，グラデーションに対応する色分布を，少数の代表面・代表線・代表点で表わすことができれば，より抽象化したシンプルな構造が得られる．画像の分類などにこのような構造を利用することにより，応用範囲を広げることができよう．今回は，色のなめらかな変化すなわちグラデーションに注目したが，色の急激な変化すなわちコントラストについても調査すること，また，分析において重要な可視化プログラムを充実させることも，今後の課題である．. 参考文献 [1] 小林光夫，鈴木卓治：画像の数量的色彩分析システムの開発，人文科学とコンピュータシンポジウム (じんもんこん 1999) 論文集, IPSJ Symposium Series, Vol.99, No.13, pp.29-36(1999-9). [2] Tie Qi Chen，Yi Lu：Color image segmentation — an innovative approach，Pattern Recognition, 35，pp.395-405(2002)． [3] 市村直幸：ロバストクラスタリングに基づいた特徴空間と画像空間の併用による領域分割，電子情報通信学会論文誌，Vol.J80-D-II No.7，pp.111(1997-7)．. 8 −16−.

(9)