第 4 章 3 階直交テンソル積展開の計算法の改良
4.6 画像データへの適用
前節では相対残差と計算時間について改良法のアルゴリズムを評価するために，デ ィジタルフィルタ設計仕様行列の例を用いた．この節では，展開項を用いて構成する 近似テンソルを視覚的観点から評価するために，3 次元データ処理の応用によく取り 上げられるカラー画像データを対象に，改良法と従来法，HOSVDの 3通りの展開法 で計算した．
画像が持つピクセル数により，高さをL[pixel]，横幅をM [pixel]として，画像のサイ ズをLM で表すことにすると，カラー画像はLM 個の各ピクセルの色情報として
R(赤)，G(緑)，B(青)それぞれの階調値を持つ．従ってカラー画像はLM3のテンソ
ル，即ち非立方体テンソルと考えることができる．
数値実験は，標準画像データベース(Standard Image Data-Base –SIDBA)[11,12]の標準画 像を用いて行うことにする．図 4-10は SIDBAの標準画像の 1つで画像処理の分野で よく使用されるLennaと呼ばれる画像である[13]．図4-11は画像LennaのRGBのスペ クトル分割画像である．画像サイズは1616，3232，6464の3通りの大きさで実 験を行った．
1.00E-02 1.00E-01 1.00E+00 1.00E+01 1.00E+02 1.00E+03 1.00E+04
0 6 12 18 24 30 36 42 48 54 60
計算時間[sec]
テンソルのサイズm(L=M=N=m)
改良法3-OTPE
従来法3-OTPE
HOSVD
図4-10 標準画像(Lenna)
(a) Red (b) Green (c) Blue
図4-11 標準画像(Lenna)のRGB分割画像
図4-12は1616の画像データを3-OTPEの改良法，従来法およびHOSVDで展開し，
展開式を途中で打ち切って構成した近似テンソルと元のテンソルとの相対残差を示し たものである．改良法が従来法やHOSVDよりも相対残差の減少が早く，展開項の初 めから終わりまで全体に渡って残差が最も小さいことが分かる．
図 4-13は相対残差を対数表示したものである．500項目付近では改良法は104のオ ーダー，従来法とHOSVDは103のオーダーであるが，改良法は528項目で1015のオ ーダーとなり最も少ない項数で収束する様子が確認できる．改良法は680項付近から 109のオーダー，750項目で1015のオーダーとなった．HOSVDは768(16163)項目 で直前までの105のオーダーから急激に1015のオーダーに収束した．
図4-12 相対残差(1616の画像Lennaの場合)
図4-13 相対残差の対数グラフ(1616の画像Lennaの場合)
図 4-14は，図 4-4と同様に，改良法，従来法，HOSVDのうち，各展開項における 最小の相対残差を与える手法を基準として，それからの差を誤差として表示したもの である．改良法は全ての項数について最も残差が小さいためグラフの水平軸に重なっ ており，改良法を基準とした従来法，HOSVD の誤差と見ることもできる．改良法は 従来法に対して特に項数が少ない部分において，より残差の少ない近似を得ているこ とが分かる．
0.00E+00 5.00E-02 1.00E-01 1.50E-01 2.00E-01 2.50E-01 3.00E-01 3.50E-01
0 100 200 300 400 500 600 700
相対残差
展開項数
改良法3-OTPE
従来法3-OTPE
HOSVD
1.00E-15 1.00E-12 1.00E-09 1.00E-06 1.00E-03 1.00E+00
0 100 200 300 400 500 600 700
相対残差
展開項数
改良法3-OTPE
従来法3-OTPE
HOSVD
図4-14 残差最小値との差(1616の画像Lennaの場合)
この例では，改良法の相対残差の減少傾向は，従来法や HOSVDに比べてかなり速 い．ディジタルフィルタの例の場合よりもその特徴が顕著に表れたのは以下の理由に よると考えられる．カラー画像データは奥行き方向のサイズが3であるから，縦と横 のサイズに比べて数分の1～数十分の1と小さく，従来法ではGram-Schmidtの直交化 法によって求める残項の項数が多くなるため，4.2節で指摘した展開項の打ち切りによ る近似が元のテンソルの最小2乗近似となる性質を考慮していない項が大半を占める．
同様に3232，6464の Lenna 画像の展開計算を行った．表 4-Vは，相対残差が
5%以下となる項数を示している．5%に選んだ理由は，画像処理としては不十分であ るが，比較の条件を一定とするためである．
表4-V 残差5%以下となる項数と従来法に対する比率(Lenna)
画像サイズ M L
改良法3-OTPE 従来法3-OTPE HOSVD
項数 比率 項数 比率 項数 比率 16
16 56 23.4% 239 100.0% 113 47.3%
3232 180 16.2% 1108 100.0% 326 29.4%
6464 345 7.3% 4698 100.0% 832 17.7%
0.000E+00 4.000E-02 8.000E-02 1.200E-01 1.600E-01
0 100 200 300 400 500 600 700
誤差
展開項数
改良法3-OTPE
従来法3-OTPE
HOSVD
この表から，どの画像サイズの場合においても，改良法が最少の項数で展開できる ことが分かる．画像サイズが大きくなると 5%近似に必要な項数は増大するが，改良 法がどの程度改善されているか検討するため，5%近似を得るのに最も多くの項数を必 要とする従来法の項数を100%として，改良法とHOSVDの項数の比率を求め，同表に 併せて示した．1616の画像の場合，従来法に対して改良法は23.4%，HOSVDは47.3%
の項数で済み，サイズが大きくなると，この比率はさらに小さくなる．
次に，5%近似に必要とした展開項数の全項数LM3に対する比率を圧縮率と呼び，
(5% )/( )
100 [%]100 近似に要する項数 全項数 (4.10) と定義した[14]．この式により計算した圧縮率を表4-VIに示した．表から，改良法と
HOSVD では画像サイズが大きくなるに従い圧縮率が向上して，この 2つの手法のう
ちでは改良法の方が率が大きい．画像データの場合，一般にその情報は展開式の少数 項で表現でき，サイズが大きくなるに従って，必要な項数は減少すると考えられ，こ の傾向が圧縮率の数値に表れている．従来法の場合は，逆に圧縮率が低下するが，こ れは展開式の収束の悪さが影響したものと考えられる．
表4-VI 展開項数の圧縮率(Lenna 5%近似の場合)
画像サイズ M
L 改良法3-OTPE 従来法3-OTPE HOSVD
16
16 92.7% 68.9% 85.3%
32
32 94.1% 63.9% 89.4%
6464 97.2% 61.8% 93.2%
実際に展開項から画像を復元して視覚的に3つの手法を比較する．条件は，改良法 による相対残差が 5%となる項数で一定として，その項数で打ち切って得られる近似 テンソルから画像を復元した．近似テンソルは実数値を取るからテンソルの各成分値 を0から255の整数で表される階調値に整えて画像を再構成する．得られた画像を表
4-VIIに示す．復元した画像は改良法が最も鮮明で，従来法による画像は不鮮明である．
画像の下には再構成した画像と元の画像の画素値についての相対残差を示した．また 画像処理では復元画像の近似の良さを表すために，SN比(Signal to Noise Ratio-SNR)[15]
を用いる．元の画像をA，p項による復元画像をApとしてSNRを次式で求め，同表 に併せて示した．
. )) , , ( ) , , ( (
, ) , , (
[dB], )
( log 20 SNR
1 1
3
1
2
1 1
3
1
2 10
L
i M
j k
p L
i M
j k
k j i k
j i Pn
k j i Ps
Pn Ps
A A
A
(4.11)
ここで，Psは元の画像の成分のパワー，Pnは元の画像の成分から復元画像の成分を 除いた雑音成分のパワーである．SNRは数値が高いほど近似が良いとされ，SNRを比 較すると，改良法は52[dB]程度，従来法は28[dB]程度，HOSVDは45[dB]程度を示して いる．どのサイズの場合も改良法のSNRが最も高く，改良法やHOSVDに比較して良 い復元画像が得られていることが数値的にも分かる．
表4-VII 展開による復元画像(その1)
画像サイズ M L (LM3)
項数
復元画像
相対残差，SNR
改良法3-OTPE 従来法3-OTPE HOSVD
16 16
(768) 56
5.0%, 52.4[dB] 18.1%, 29.9[dB] 7.4%, 45.7[dB]
3232
(3072) 180
5.0%, 52.3[dB] 19.3%, 28.8[dB] 6.9%, 46.9[dB]
64 64
(12288) 345
5.0%, 52.3[dB] 21.5%, 26.8[dB] 7.6%, 45.1[dB]
図 4-15 に示す SIDBA の標準画像について同様の実験を行った．実験にはサイズ
64
64 の画像を用いた．
Aerial Airplane Balloon
Couple Girl Mandrill
Milkdrop Parrots Sailboat
図4-15 実験画像(アルファベット順)
Lennaと同様に，展開による近似テンソルと元の画像との相対残差が5%となる項数，
および従来法に対する比率を表4-VIIIに示す．
表4-VIII 残差5%以下となる項数と従来法に対する比率
画像 改良法3-OTPE 従来法3-OTPE HOSVD
項数 比率 項数 比率 項数 比率
Mandrill 1849 37.3% 4963 100.0% 2677 53.9%
Aerial 501 16.9% 2956 100.0% 909 30.8%
Couple 1317 24.4% 5406 100.0% 1862 34.4%
Sailboat 305 8.0% 3816 100.0% 655 17.2%
Balloon 640 19.8% 3240 100.0% 871 26.9%
Girl 1196 22.2% 5380 100.0% 1444 26.8%
Airplane 57 2.5% 2316 100.0% 138 6.0%
Milkdrop 313 7.3% 4305 100.0% 294 6.8%
Parrots 1977 33.2% 5950 100.0% 1865 31.3%
表4-VIIIでは，各画像について3手法のうちで最も少ない項数を太字で示してある．
図4-15で示した9画像のうちMilkdropとParrotsを除いて，改良法は最も少ない項数で
5%近似を得ることができた．また同表は，HOSVDと改良法の従来法に対する比率に
ついてその差が大きい順に示してある．MilkdropとParrotsについてはHOSVDが最少
の項数で5%近似を得ているが，HOSVDと改良法の従来法に対する比率の差は1%前
後の違いで大きな差はないことが分かり，改良法が優位である．
展開による復元画像を表4-IXに示す．各復元画像の下に相対残差と SNRの値を示 した．改良法とHOSVDではSNRは50[dB]前後であるが，従来法では30[dB]台の値で 復元画像も不鮮明である．このように画像データは非立方体テンソルと考えることが でき，データ圧縮への応用においては視覚的にも改良法は従来法に対して大きく改善 され，HOSVDに対してもほぼ同等かそれ以上の結果となることが確認できた．
表4-IX 展開による復元画像(その2)
画像
復元画像
相対残差，SNR
改良法3-OTPE 従来法3-OTPE HOSVD
Mandrill
5.0%, 52.0[dB] 17.7%, 35.9[dB] 5.0%, 48.0[dB]
Aerial
5.0%, 52.0[dB] 11.1%, 38.2[dB] 6.2%, 48.2[dB]
Couple
5.0%, 52.1[dB] 19.3%, 28.6[dB] 6.1%, 48.5[dB]
Sailboat
5.0%, 52.0[dB] 17.9%, 29.9[dB] 6.6%, 47.1[dB]
Balloon
5.0%, 52.0[dB] 19.5%, 39.1[dB] 5.6%, 50.2[dB]
Girl
5.0%, 52.2[dB] 18.9%, 28.9[dB] 5.6%, 50.2[dB]
Airplane
5.0%, 52.0[dB] 14.1%, 34.1[dB] 6.6%, 47.2[dB]
Milkdrop
5.1%, 51.8[dB] 17.7%, 30.1[dB] 5.0%, 52.2[dB]
Parrots
5.0%. 51.4[dB] 14.5%, 33.5[dB] 5.0%, 52.1[dB]
計算時間
画像サイズ1616，3232，6464，128128の画像データの展開に要する計算時
間を表4-X，グラフを図4-16に示す．画像サイズ1616においては，どの手法でも計
算時間はほとんどかからず計測では0.00E+00[sec]であった．サイズ3232まではどち らも同じ計算時間であったが，改良法は従来法の手順の後に画像サイズと同じサイズ の行列のSVDを行うため6464では従来法の1.5倍程度は増加した．HOSVDは改良 法に比較して3232では約10倍，6464では約60倍の値を示しており，多くの計算 時間が必要である．画像サイズをLMとすると，テンソルのサイズはLM3とな り，改良法で行う SVD の計算はLM 行列に対して行われるが，HOSVD では
) 3
(
M
L ，M(3L)，3(LM)の 3種の展開行列に対して SVDの計算が必要で ある．これら行列のサイズは大きく，特に3(LM)行列は横長の非常に大きな行列
である．そのため計算時間が増大することになる．また，今回使用したHOSVDによ る展開プログラムでは，画像サイズ128128の場合の展開行列についてはサイズが過 大なためSVDの計算時に計算機の処理エラーが発生し展開できなかった．
表4-X 計算時間
画像サイズ M L
計算時間[sec]
改良法3-OTPE 従来法3-OTPE HOSVD
16
16 0.00E+00 0.00E+00 0.00E+00
32
32 7.81E-03 7.81E-03 8.59E-02
6464 2.34E-02 1.56E-02 1.38E+00
128
128 1.88E-01 7.81E-02 計算不可
図4-16 計算時間