第 4 章 線形勾配成分の抽出方式 35
4.5 提案手法の評価
4.5.1 全変動最小化の高速計算手法の評価実験
性能評価項目と実験条件
提案手法の妥当性を示すために，全変動最小化を用いて静止画像から骨格成分を取得する 実験を行う．ここで，本論文では第2.4節で述べたChambolleらの画像分解手法（以下，従
来手法1）とCombettesらの画像復元手法（以下，従来手法2）とにより得られる骨格成分
を正解と見なして，アプリケーションを特定せずに骨格成分だけを評価する．そこで評価項 目として，L1全変動，L2全変動，入力画像忠実度の3指標における一致度と骨格成分近似 度を採用する．L1全変動とL2全変動は得られた骨格成分の全変動を測る．入力画像忠実度 は入力画像と得られた骨格成分とのPSNRを測る．骨格成分近似度は，提案手法と従来手 法のそれぞれから得られた骨格成分同士に対して，画像の構造についても評価できるといわ れるStructural SIMilarity（SSIM）指標を用いる [55]．なお，全変動と入力画像忠実度は 提案手法と従来手法1，2における目的関数や制約条件に該当する．最後に，提案手法より 削減された計算量を，実際にかかった計算時間を比較して考察する．
対象画像として自然画像2枚，人工画像（アニメーションに含まれる静止画像）2枚の計4 枚を用いた．画像はすべてグレースケール（8bit/pel）である．各画像の名称，解像度，L1 全変動（L1-TV），L2全変動（L2-TV）を表4–2に示す．また，以下の表に示す全変動はす べて1画素あたりの値である．不連続点を含む画像を正則化可能な全変動により，平坦領域 ではノイズに起因する振動成分が除去されること，急峻なエッジが骨格成分として保存され ることを検討する．
自然画像2枚はLennaとBarbaraを用いた．これらの画像は自然画像の符号化効率評価
として一般的に利用されている．背景と人物の境界における急峻なエッジや，細かいテクス チャ，肌のようなグラデーション領域といった様々な特性を持ち合わせている．Lennaは肌 のグラデーションと髪飾りのテクスチャ，Barbaraは服やテーブルクロスの斜め方向のテク スチャに特徴がある．また，Anime 1はキャラクタの全体像が描かれており，多数の小さな 平坦領域から構成されている．Anime 2はキャラクタの顔が背景と共に描かれており，少数 の大きな平坦領域と複雑な背景から構成されている．Anime 1と2の240行目における輝度
4.5. 提案手法の評価 41
表4–2: Characteristics of Target Images.
Name Size [pixel] L1-TV L2-TV Lenna 512x512 11.32 8.93 Barbara 512x512 22.36 17.86 Anime 1 704x480 10.38 8.46 Anime 2 704x480 9.01 7.24
変化を図4.5.1，図4–2に示す．
実験に用いた計算機環境は，Intel Core 2 Duo (E8500) 3.16GHz，メモリ8GB，64bit Linux，Intel C++ Compiler 11.0である．FFT及び逆FFTの計算には，FFTW3ライブ ラリを利用した[56]．
従来手法1に対する性能評価結果
従来手法1（Chambolleらの画像分解手法）により得られる骨格成分を正解とする場合の
性能評価を行う．従来手法1と提案手法におけるパラメータはλ= 8で，反復回数は10回 である．以下，この条件を提案手法1と呼ぶ．
提案手法1の性能評価結果を表4–3に示す．左列から入力画像の名称と手法，L1全変動
（L1-TV），L2全変動（L2-TV），入力画像忠実度（PSNR），骨格成分近似度（SSIM），画 像の入出力を除く計算時間（Time）である．
この表より，L1全変動，L2全変動，入力画像忠実度の3指標は誤差3%以下であり，か つ骨格成分近似度は0.994以上であることがわかる．従って，提案手法1から得られた骨格 成分は従来手法1から得られたそれに十分近似していることが明らかとなった．
さらに，提案手法1による計算時間は従来手法1と比べて，53%〜58%と約半分に低減さ れている．我々の実装において1画素ごとの浮動小数点計算のうち，乗算が7回から2回へ，
除算や平方根計算が2回から0回に削減されたことが要因である．
Lennaについて，入力画像，提案手法1と従来手法1により得られた骨格成分を図4–4に
示す．Anime 2について提案手法1と従来手法1により得られた骨格成分の輝度変化の一部
分を図4.5.1に示す．
これらの図より，提案手法1は従来手法1と同様に，自然画像と人工画像の両方において テクスチャや平坦領域に含まれるノイズを平滑化する一方で，エッジを比較的保存している ことが確認できる．ただし，人工画像に含まれていた急峻なエッジについて，少なからず滑 らかになっている．反復処理のどの項にもエッジ強調をする要因が含まれていないことが原 因ある．
0 64 128 192
0 64 128 192 256 320 384 448 512 576 640 704
luminance
coordinate
図4–2: Anime 1の240行目の画素位置と輝度値の関係（自発表 [22]より引用）
0 64 128 192 256
0 64 128 192 256 320 384 448 512 576 640 704
luminance
coordinate
図4–3: Anime 2の240行目の画素位置と輝度値の関係（自発表 [22]より引用）
図4–4: 骨格画像の抽出結果 左から入力画像Lenna，提案手法1による結果，従来手法1 による結果（自発表[22]より引用）
4.5. 提案手法の評価 43
表4–3: 従来手法1に対する提案手法1の性能評価結果 Image /
methods
L1 -TV
L2 -TV
PSNR [dB]
SSIM Time [msec]
Lenna
Prop. 1 5.79 4.82 35.9 0.996 59.8
Conv. 1 5.79 4.70 35.9 - 103.3
Barbara
Prop. 1 11.19 9.42 30.7 0.994 59.5
Conv. 1 11.59 9.43 30.9 - 102.2
Anime 1
Prop. 1 6.07 5.23 38.2 0.996 68.0
Conv. 1 6.03 5.11 38.2 - 128.4
Anime 2
Prop. 1 4.92 4.16 38.9 0.997 73.6
Conv. 1 4.86 4.04 38.9 - 128.4
従来手法2に対する性能評価結果
従来手法2（Combettesらの画像復元手法）により得られる骨格成分を正解とする場合の
性能評価を行う．従来手法2のパラメータは文献[24]による．一方，提案手法におけるパラ メータλは，入力画像忠実度（PSNR）がほぼ一致するように決定した．以下，この条件を 提案手法2と呼ぶ．
ところで，本論文ではROFモデルにおける全変動最小化の計算手法を提案しているが，
画像復元における式(2·7)のJtv2はJtv1に置換できる．ただし，FFTを含む射影関数は計 算コストが高く，高速計算に適さない．以下，この手法を提案手法3と呼び，結果を参考値 として示す．
提案手法2，３の性能評価結果を表4–4に示す．左列から入力画像の名称と手法，L1全変 動（L1-TV），L2全変動（L2-TV），入力画像忠実度（PSNR），骨格成分近似度（SSIM），
反復回数（Iteration），画像の入出力を除く計算時間（Total time）である．さらにその右 側に劣勾配法が占める計算時間と反復処理1回あたりの計算時間，FFTなどを含む射影関 数の計算時間とその反復処理1回あたりの計算時間を示した．
提案手法2は従来手法2と計算方針が大きく異なるが，Barbaraを除いて骨格成分近似度は
0.982以上であるため，得られた骨格成分同士はかなり近似していると考えられる．Barbara
の骨格成分近似度が低いのは，画像分解に用いるパラメータλの大きさに比べてテクスチャ の振幅が大きいために，テクスチャを十分除去できないことが原因である．さらに提案手法 2のL1全変動とL2全変動は，従来手法2のそれらと比べて低下している．従って，提案手
60 80 100 120 140 160 180 200 220
20 30 40 50 60 70 80
luminance
coordinate
Input of Anime 2
図4–5: Anime 2の240行目の画素位置と輝度値の関係．提案手法1と従来手法1によって 得られた骨格成分と入力画像の比較．（自発表[22]より引用）
法2は振幅の小さなノイズやテクスチャに関する平滑化性能が高いと考えられる．
提案手法2による計算時間は従来手法2と比べて，5%〜7%程度と大幅に削減されている．
FFTを含む射影が必要なく，反復回数が削減されたためである．
参考値として結果を示した提案手法3について，L1全変動，L2全変動，入力画像忠実度 の3指標は誤差5%以下であり，かつ骨格成分近似度は0.988以上であることがわかる．従っ て，提案手法3から得られた骨格成分は従来手法2から得られたそれに十分近似しているこ とが明らかとなった．
さらに，提案手法3の劣勾配法における1回あたりの計算時間は従来手法2と比べて，
65%〜70%に低減されている．我々の実装において1画素ごとの浮動小数点計算のうち，乗 算が5回から1回へ，平方根計算が1回から0回に削減されたことが要因である．ただし，
提案手法3の反復回数は従来手法2と比べて増減するため，全体計算時間は必ずしも低減し ない．また，FFTなどを含む射影関数にかかる計算時間が大部分を占めるため，計算量低 減の影響もほとんど見られない．
Lennaについて，提案手法2，提案手法3，従来手法2により得られた骨格成分を図 4–6
に示す．Anime 1について，提案手法2，提案手法3，従来手法2により得られた骨格成分
の240行目の輝度変化の一部分を図4–7に示す．
これらの図より，提案手法2，提案手法3は従来手法2と同様に，自然画像と人工画像の 両画像でテクスチャや平坦領域に含まれるノイズを平滑化する一方で，エッジの保存が確認 できる．また，提案手法1と比較して提案手法2や提案手法3の方が，強く平滑化している ことが分かる．
4.5. 提案手法の評価 45
表4–4: 従来手法2に対する提案手法2，3の性能評価結果
Image / methods
L1 -TV
L2 -TV
PSNR [dB]
SSIM Iteration [times]
Total time [msec]
Subgradient computa-tion [msec]
([msec/ite.])
Projection with FFT computation [msec]
([msec/ite.]) Lenna
Prop. 2 4.69 3.97 33.0 0.985 30 178.3 -
-Prop. 3 5.35 4.47 33.1 0.989 53 2772.2 270.7(5.11) 2194.3(41.40)
Conv. 2 5.37 4.35 33.1 - 50 2693.6 368.7(7.37) 2035.8(40.72)
Barbara
Prop. 2 4.95 4.25 25.3 0.966 30 180.7 -
-Prop. 3 5.65 4.78 25.1 0.988 50 2514.9 259.3(5.19) 1968.1(39.36)
Conv. 2 5.85 4.76 25.2 - 54 2810.1 404.0(7.48) 2104.7(38.98)
Anime 1
Prop. 2 5.11 4.43 33.6 0.985 30 179.7 -
-Prop. 3 5.83 5.07 33.7 0.991 49 3374.0 250.2(5.11) 2738.7(55.89)
Conv. 2 5.71 4.85 33.7 - 51 3680.5 391.4(7.67) 2888.6(56.64)
Anime 2
Prop. 2 4.16 3.54 34.7 0.982 30 188.4 -
-Prop. 3 4.77 4.06 34.6 0.991 54 3725.2 274.9(5.09) 3044.1(56.37)
Conv. 2 4.77 3.98 34.8 - 51 3650.3 396.1(7.77) 2858.4(56.05)
図4–6: 骨格画像の比較 左から提案手法2，提案手法3，従来手法2（自発表[22]より引用）