画像情報処理の基礎

(1)

画像情報処理の基礎

田中敏幸

【著】

コロナ社

(2)

ま

え

が

き

近年，多くの分野で画像を扱った研究や仕事が増えてきているように思われ

る。以前から，画像処理や画像解析の研究者は多かったが，パターン計測，AI

（artiﬁcial intelligence），深層学習（deep learning; ディープラーニング）など，最近の流行と融合してさらに多くの人から注目されるようになったことが一つの要因だと思われる。また，OpenCVなどのフリーのライブラリが充実してきたことや，これらのフリーのライブラリをC言語だけでなく，MATLAB やPythonなどのプログラミング言語で扱うための手引書が多数刊行されたことも，研究などに画像処理を取り入れる契機となっている。しかし，実際に研究を行う場合，手引書では情報が不十分な場合が多く，画像処理・画像解析の専門書を読むことになる。本書は，情報系の大学院で行う画像解析の教科書として書かれたものである。また同時に，画像解析に興味を持った大学学部生が最初の文献として利用できるようにも心がけて執筆されている。画像解析の基礎的なテキストは多くの方々が執筆しているが，それらはおもに執筆者が所属する大学などの教科書向けのものである。したがって，それらの書籍で扱っている内容は，それを利用する大学での卒業研究や大学院での研究に必要な内容に特化していることが多い。そのため，画像処理の数学的・理論的な内容を中心としたものや，コンピュータ言語によるプログラミングに焦点を絞った章立てになっているものが多く見受けられる。研究に必要な画像解析を勉強するとき，数学的な処理やプログラミングではなく，まず必要としている処理はどのような手法により実現できるのかを理解し，その手法を処理に合わせて調整していく必要がある。数学的には非常に似ている処理でも，画像解析としての用途がまったく違う場合もあり，行いたい処理に対してどのような手法があるのかを見つけることは

コロナ社

(3)

ii 意外に難しい。そのようなことを念頭に置き，本書では処理を中心とした章立てを心がけることにした。数学的に似ている処理が複数の章に分かれてしまったところもあるが，研究初期の段階ではそのほうが効率が良いように思われる。また，画像解析の内容についても，1枚の画像から情報を取り出す場合と，複数枚の画像から情報を取り出す場合がある。本書の構成では，1章から10章までは単独画像を解析する手法をおもに説明し，11章から14章は複数の画像から情報を得る手法を説明している。画像解析手法そのものを研究の対象としていない多くの分野では，本書に書かれた内容を理解すれば研究に利用できると思われる。著者が専門としている医用画像解析の分野の基礎としても役に立つ内容となっている。一方，画像解析手法自体を対象とした専門的な研究では，本書の内容を基礎として，さらに発展的な手法を学ばなければならない。本書が，これから画像解析を勉強しようとする読者の一助になれば幸いである。 2019年3月田中敏幸

コロナ社

(4)

目

次

1. 画像処理の基礎知識

1.1 画像解析に必要な処理. . . . ₁ 1.2 色の表現方法. . . . ₂ 1.2.1 3 原色. . . . ₂ 1.2.2 加法混色と減法混色. . . . ₂ 1.2.3 色温度. . . . ₂ 1.3 表色系. . . . ₃ 1.3.1 RGB 表色系. . . . ₃ 1.3.2 YIQ 表色系. . . . ₃ 1.3.3 HSI 表色系. . . . ₃ 1.3.4 XYZ 表色系. . . . ₆ 1.3.5 CIE-L∗a∗b∗表色系 . . . . ₇ 1.3.6 CMY 表色系. . . . ₈ 1.3.7 CMYK表色系. . . . ₉ 1.3.8 YCbCr表色系. . . . 9 1.4 画像の描画方式. . . . ₉ 1.4.1 ラスタスキャン方式. . . . ₉ 1.4.2 インターレース方式. . . 10 1.4.3 プログレッシブ方式. . . 10 1.5 画像ファイルの基本要素. . . 11 1.5.1 圧縮形式. . . 11

コロナ社

(5)

iv 1.5.2 ファイルフォーマット . . . 11 1.5.3 画像フォーマットの課題. . . 12 1.6 画像の解像度と階調数. . . 13 1.6.1 解像度と階調数. . . 13 1.6.2 グレースケール画像. . . 14

2. 画像の変換と濃度値の補正

2.1 濃度・明度の調整. . . 16 2.1.1 画像データの表現. . . 16 2.1.2 グレースケール化処理 . . . 17 2.1.3 輝度反転処理. . . 18 2.1.4 ポスタリゼーション. . . 19 2.1.5 バイアス変更による明度の調整. . . 19 2.1.6 ガンマ補正. . . 20 2.1.7 1次関数による濃淡補正. . . 21 2.2 ヒストグラムを用いた処理 . . . 21 2.3 画素位置の変換. . . 23 2.3.1 拡大縮小処理. . . 24 2.3.2 平行移動. . . 25 2.3.3 回転変換. . . 25 2.3.4 せん断（スキュー）変換. . . 26 2.3.5 反転変換. . . 27 2.4 アフィン変換に伴う濃度値の補正. . . 28 2.4.1 最近傍補間による補正 . . . 28 2.4.2 双1次補間による補正. . . 29 2.4.3 双3次補間による補正. . . 30

コロナ社

(6)

目次 v

3. 空間フィルタ

3.1 雑音除去のための平滑化フィルタ. . . 32 3.1.1 2次元線形システム. . . 32 3.1.2 移動平均フィルタ. . . 33 3.1.3 加重平均フィルタ. . . 34 3.1.4 バイラテラルフィルタ . . . 35 3.2 順序統計に基づく非線形フィルタ. . . 36 3.2.1 メディアンフィルタ. . . 36 3.2.2 加重メディアンフィルタ. . . 37 3.2.3 ランクオーダフィルタ . . . 38 3.3 エッジを抽出するフィルタ . . . 39 3.3.1 微分フィルタ. . . 39 3.3.2 雑音を抑えた微分フィルタ. . . 41 3.3.3 2次微分フィルタ. . . 43 3.3.4 キャニーフィルタ. . . 44 3.3.5 鮮鋭化フィルタ. . . 46

4. フーリエ変換とフィルタリング

4.1 フーリエ変換. . . 48 4.1.1 2次元フーリエ変換. . . 48 4.1.2 周波数空間における特徴量. . . 49 4.1.3 フーリエ変換の性質. . . 49 4.2 高速フーリエ変換（FFT）. . . 51 4.2.1 1次元時間間引き型FFT. . . 51

コロナ社

(7)

vi 4.2.2 2次元高速フーリエ変換. . . 55 4.3 周波数空間におけるフィルタリング. . . 56 4.3.1 低域通過フィルタによる雑音除去. . . 56 4.3.2 高域通過フィルタによるエッジ抽出. . . 58

5. 多重解像度による画像処理

5.1 画像ピラミッド. . . 60 5.1.1 ガウシアンピラミッド . . . 60 5.1.2 ラプラシアンピラミッド. . . 61 5.2 短時間フーリエ変換 . . . 62 5.3 1次元ウェーブレット変換. . . 63 5.3.1 1次元連続ウェーブレット変換 . . . 64 5.3.2 1次元直交ウェーブレット変換 . . . 67 5.3.3 1次元離散ウェーブレット変換 . . . 70 5.4 2次元ウェーブレット変換. . . 73 5.4.1 2次元連続ウェーブレット変換 . . . 73 5.4.2 2次元離散ウェーブレット変換 . . . 74

6. 2 値化とモルフォロジー演算

6.1 固定閾値法による2値化. . . 78 6.2 自動閾値決定法による2値化. . . 79 6.2.1 p タイル法. . . 79 6.2.2 モード法. . . 79 6.2.3 判別分析による2値化. . . 80 6.2.4 大津の2値化の応用. . . 83

コロナ社

(8)

目次 vii 6.3 動的閾値決定法. . . 83 6.3.1 移動平均法. . . 84 6.3.2 部分画像分割法. . . 84 6.4 ラベリング. . . 85 6.5 モルフォロジー演算 . . . 86 6.5.1 膨張処理と収縮処理. . . 86 6.5.2 オープニングとクロージング. . . 87

7. 線分と輪郭の抽出

7.1 直線成分の抽出. . . 89 7.2 Watershed法による領域分割. . . 91 7.3 動的輪郭モデルによる境界の抽出. . . 92 7.3.1 Snakes . . . 92 7.3.2 レベルセット法. . . 94 7.4 前景と背景の分離. . . 96 7.4.1 グラフカット. . . 96 7.4.2 グラブカット. . . 98 7.4.3 グローカット. . . 101 7.5 領域拡張法. . . 102 7.5.1 単純領域拡張法. . . 102 7.5.2 反復型領域拡張法. . . 102 7.5.3 分離・統合法. . . 103

8. 特徴量の算出

8.1 形状特徴量. . . 104 8.2 テクスチャ特徴量. . . 107

コロナ社

(9)

viii 8.2.1 濃度ヒストグラム法. . . 107 8.2.2 同時生起行列法. . . 109 8.2.3 ランレングス行列法. . . 112 8.3 高次局所自己相関特徴. . . 114

9. 特徴量による分析法

9.1 特徴量の検定. . . 116 9.1.1 F 検定. . . 116 9.1.2 t 検定. . . 117 9.2 重回帰分析. . . 118 9.3 主成分分析. . . 121 9.3.1 分析の手順. . . 122 9.3.2 主成分の寄与率. . . 123 9.4 判別分析. . . 124 9.5 クラスタ分析. . . 126 9.5.1 階層的クラスタリング . . . 127 9.5.2 k-means 法. . . 129

10. 機械学習による分析

10.1 ニューラルネットワーク . . . 131 10.1.1 パーセプトロン . . . 131 10.1.2 誤差逆伝搬法 . . . 132 10.2 サポートベクトルマシン . . . 135 10.2.1 最大マージン分類器. . . 135 10.2.2 重なりのあるクラス分布. . . 139 10.2.3 カーネルトリック. . . 142

コロナ社

(10)

目次 ix

11. 画像の位置合わせ

11.1 フーリエ変換の性質. . . 144 11.1.1 1次元相関積分のフーリエ変換. . . 144 11.1.2 離散時間における1次元相関とフーリエ変換 . . . 145 11.1.3 2次元相関積分のフーリエ変換. . . 145 11.1.4 離散時間における2次元相関とフーリエ変換 . . . 146 11.2 位相限定相関法. . . 147 11.2.1 位相限定相関法による移動量の算出. . . 148 11.2.2 サブピクセル化による画像移動量の高精度推定. . . 149 11.2.3 回転・拡大への対応. . . 152

12. オプティカルフロー

12.1 基本式によるブロックマッチング法. . . 154 12.2 Lucas-Kanade法. . . 158 12.3 オプティカルフローの応用. . . 161 12.3.1 画像中の移動物体の認識. . . 162 12.3.2 ロボットビジョン. . . 162 12.3.3 顔の表情の変化の追跡. . . 162 12.3.4 流体の動きの可視化. . . 163

13. ステレオ画像処理

13.1 3次元画像計測の種類. . . 164 13.2 カメラモデル. . . 166

コロナ社

(11)

x 13.2.1 ピンホールカメラモデル. . . 166 13.2.2 画像解析におけるカメラモデル. . . 167 13.2.3 画像の投影法 . . . 167 13.3 座標間の幾何学的関係. . . 168 13.4 空間位置の計測. . . 171 13.5 ステレオビジョン. . . 173

14. 画像超解像

14.1 単純拡大. . . 176 14.2 線形補間. . . 177 14.3 FCBI 方式. . . 180 14.4 厳密な意味での超解像. . . 185 14.5 超解像の画像縮小. . . 186 14.6 超解像の応用. . . 187

引用・参考文献

. . . 188

索

引

. . . 189

コロナ社

(12)

1 画像処理の基礎知識

この章では，画像解析を行う際に必要な画像処理の基礎知識について説明する。医用や美容の分野における画像解析では，染色の色や肌の色など，色の情報が重要な特徴となる場合が多い。医用・美容画像に限らず，情報系の他の分野で行われている画像処理においても，色情報は基礎知識として必要である。本章では，色情報，特に表色系について多くの紙面を割く。また，画像の描画方式やファイルフォーマットなどについても言及する。実際の研究では，これらの情報を基本としてどのような処理を行うかを考えていく必要がある。

1.1 画像解析に必要な処理

画像解析では，つぎの三つのステップが必要となる。おもに画像の前処理の部分を画像処理と呼び，その後の分析を含めたものを画像解析と呼ぶことが多い。 1. 画像の前処理：画像から必要な情報を精度良く得るために，画像のコントラスト修正，雑音除去などを行う。 2. 画像の特徴量解析：画像中で注目している対象の形状や模様の数値化を行う。 3. 特徴量の判別：2.で得られた特徴量に対して統計解析や機械学習を行うことにより，画像中の対象の判別分析を行う。

コロナ社

(13)

2 1.

1.2 色の表現方法

1.2.1 3 原色物体に照射する電磁波の波長が異なると，知覚する色が異なる。可視光は波長が380∼810 nmの電磁波であり，波長が380 nmよりもやや短い電磁波を紫外線，810 nmよりもやや長い電磁波を赤外線と呼ぶ。互いに独立した三つの色のことを3原色あるいは3原刺激という。可視光は赤，緑，青の3色に対応する波長の混ざった電磁波となっている。 1.2.2 加法混色と減法混色パソコンのモニタなどのように光を用いて色を表現する場合，基本となるのはRGB表色系である。表色系は混色系と顕色系に分けられる。CIE-RGB表色系とCIE-XYZ表色系は代表的な混色系であり，マンセル表色系は代表的な顕色系である。混色系は，さらに加法混色と減法混色に分けられる。RGBは加法混色における代表的な3原色であり，CMYは減法混色における代表的な3原色である。モニタなどのように光を使う場合は加法混色RGBであり，プリンタなどのようにインクを使う場合は減法混色CMYである。 1.2.3 色温度黒体の絶対温度を基準として色を温度で表したものを色温度といっている。色温度が低いと長波長側で相対エネルギーが高い分光分布となり，黄色っぽい色になる。また，色温度が高いと短波長側で相対エネルギーが高くなり，青色がかった色になる。JIS（Japanese Industrial Standards;日本工業規格）では，

標準光をつぎのように規定している。Kは絶対温度の単位を表す。

(1) 白熱灯：2 856 K（標準光A）

(14)

1.3 表色系 3 (2) 紫外線を含む昼光：6 500 K（標準光D65） (3) 昼間の平均光：6 770 K（標準光C）

1.3 表

色

系

1.3.1 RGB 表色系 3原色をR（赤，700 nm），G（緑，546.1 nm），B（青，435.8 nm）とする表色系をCIE-RGB表色系という。これは現在のパソコンで最も多く用いられる表色系である。CIE（Commission Internationale de l’ ´Eclairage;国際照明委員会）によって定められている。 1.3.2 YIQ 表色系 YIQ表色系はカラーテレビに採用された表色系である。カラー以前の旧モノクロ受信機でカラー電波を受信でき，再生できるという条件に合った表色系となっている。アナログテレビ時代の表色系なので，カラーテレビに利用されることはないが，YIQそれぞれの色成分は，画像解析に利用することができる。 RGB表色系との変換公式は，つぎのように表すことができる。これは，日本および米国のビデオ信号規格（NTSC信号規格）として使用されている。      Y I Q     =      0.299 0.587 0.114 0.596 −0.274 −0.322 0.211 −0.522 0.311           R G B      (1.1) 1.3.3 HSI 表色系 RGB色空間では，人間の感覚に合った色彩に関する処理を行うことは難しい。そこで，RGB表色系を，直観的にわかりやすいマンセル表色系に近い色

相（hue）H，彩度（saturation）S，明度（intensity）I に変換して解析することがある。HSIはHSV（hue, saturation, value），HSB（hue, saturation,

(15)

4 1. brightness）などと呼ばれることもある。RGB空間からHSI空間への変換を HSI変換という。変換の方法にはいくつかあるが，代表的なものとして，6角錐モデルを利用したものと双6角錐モデルを利用したものがある。 ( 1 ) 6角錐モデル 6角錐モデルを図1.1に示す。6角錐モデルでは，次式を用いてRGB表色系の画像をHSI表色系に変換することができる。 Imax= max{R, G, B} Imin= min{R, G, B} I = Imax (1.2) S = Imax− Imin Imax (1.3) r = Imax− R Imax− Imin g = Imax− G Imax− Imin b = Imax− B Imax− Imin H = π 3(b− g) (R = Imax) (1.4) H = π 3(2 + r− b) (G = Imax) (1.5) H = π 3(4 + g− r) (B = Imax) (1.6) また，H < 0 のときは H に 2π を加える。Imax = 0 のときは S = 0， H = indeﬁnite となる。黒マゼンタ青赤白シアン黄緑 図 1.1 6 角錐モデル

コロナ社

(16)

1.3 表色系 5 ( 2 ) 双6角錐モデル双6角錐モデルを図1.2に示す。双6角錐モデルでは，次式を用いてRGB表色系の画像をHSI表色系に変換する。 Imax= max{R, G, B} Imin= min{R, G, B} I =Imax− Imin 2 (1.7)

S = (Imax− Imin) (Imax+ Imin) （I≦ 0.5のとき） (1.8)

S = (Imax− Imin) (2− (Imax+ Imin)) （I > 0.5のとき） (1.9)

r = Imax− R Imax− Imin g = Imax− G Imax− Imin b = Imax− B Imax− Imin H = π 3(b− g) (R = Imax) (1.10) H = π 3(2 + r− b) (G = Imax) (1.11) H = π 3(4 + g− r) (B = Imax) (1.12) また，H < 0 のときは H に 2π を加える。Imax = Imin のときは S = 0， H = indeﬁnite となる。黒マゼンタ青赤白シアン黄緑 図 1.2 双 6 角錐モデル

コロナ社

(17)

索

引

【あ】アクティブステレオ法 165 圧縮形式 11 アフィン変換 23 アンシャープマスキング 47 【い】位相限定相関関数 148 位相限定相関法 147 移動平均フィルタ 33 移動平均法 84 色温度 2 因子負荷量 124 インターレース方式 10 インパルス性雑音 36 【う】ウェーブレット変換 63 【お】大津の 2 値化法 81 オプティカルフロー 154 オプティカルフロー速度 156 オープニング 87 【か】階層的クラスタリング 127 回転変換 25 ガウシアンピラミッド 60 ガウシアンフィルタ 34 拡大縮小処理 24 加重メディアンフィルタ 37 画素 13 カーネルトリック 142 カメラキャリブレーション171 カメラ座標系 166 ガンマ補正 20 【き】輝度反転処理 18 キャニーフィルタ 44 寄与率 123 均等色空間 7 【く】空間的局所最適化法 157 空間的大域最適化法 157 クラスタ分析 126 グラディエント法 156 グラフカット 96 グラブカット 98 グレースケール画像 15 グローカット 101 クロージング 88 群平均法 129 【け】形状特徴量 104 顕色系 2 【こ】高次局所自己相関特徴 114 高速フーリエ変換 51 誤差逆伝搬法 133 混色系 2 コントラスト伸長 22 【さ】最近傍補間 28 最短距離法 127 最長距離法 128 サブピクセル 149 サポートベクトルマシン 135 三角測量法 164 【し】時間的局所最適化法 158 時間間引き型 FFT 51 重回帰式 119 重回帰分析 119 収縮処理 86 重心法 129 主成分得点 122 主成分分析 121 受動的計測法 164 深層学習 134 【す】スケーリング関数 68 ステップワイズ法 120 ステレオ画像処理 164 ステレオビジョン 173 【せ】正規化画像座標 170 鮮鋭化フィルタ 46 せん断変換 26 【そ】相違度 156

コロナ社

(18)

190 索引双線形補間 177 双 1 次補間 29 双 3 次補間 30 双 6 角錐モデル 5 ソフトマージン 140 ソーベルフィルタ 42 【た】対数極座標変換 153 畳み込みニューラルネットワーク 134 単回帰分析 119 短時間フーリエ変換 62 単純拡大法 176 【ち】超解像 176 直交ウェーブレット 67 【て】テクスチャ特徴量 107 【と】同時座標 169 同時生起行列法 109 動的閾値決定法 83 【な】流れの可視化 163 【に】 ニューラルネットワーク 131 【の】能動的計測法 164 濃度画像 15 濃度ヒストグラム 21 濃度ヒストグラム法 107 【は】バイアス調整 19 バイラテラルフィルタ 35 パーセプトロン 131 バタワースフィルタ 57 ハフ変換 89 パワースペクトル 49 反転変換 27 判別分析 125 【ひ】非圧縮 BMP 11 ピクセル 13 ピーク評価式 150 ヒストグラム平坦化 23 ビット反転 54 微分フィルタ 39 表情解析 163 表色系 3 ピンホールカメラモデル 166 【ふ】部分画像分割法 84 プリューウィットフィルタ41 プログレッシブ方式 10 ブロックノイズ 177 ブロックマッチング法 154 【へ】平行移動 25 偏回帰係数 119 【ほ】膨張処理 86 ポスタリゼーション 19 【ま】マザーウェーブレット 64 マハラノビスの汎距離 125 【め】メディアンフィルタ 36 メディアン法 128 【も】モード法 79 モーメント特徴 106 モルフォロジー演算 86 【や】山登り法 158 【ら】ラスタスキャン方式 9 ラプラシアンピラミッド 61 ラプラシアンフィルタ 43 ラベリング 85 ランクオーダフィルタ 38 ランレングス行列法 112 【り】理想フィルタ 57 リフレッシュレート 10 領域拡張法 102 【る】類似度 156 累積寄与率 124 【れ】レベルセット法 94 レンジファインダ 165 連続ウェーブレット 64 【ろ】ロボットビジョン 162 【わ】ワールド座標系 168

コロナ社

(19)

191 ♢ ♢ 【C】 CMY 表色系 8 CMYK 表色系 9 Coiflet ウェーブレット 69 【D】 Daubechies ウェーブレット 69 【F】 F 検定 116 FCBI 方式 180 【H】 Haar ウェーブレット 69 HLAC 114 HSI 表色系 3 【J】 JPEG 12 【K】 k-means 法 129 【L】 Lucas-Kanade 法 158 L∗a∗b∗色空間 7 【P】 p タイル法 79 PNG 11 【R】 RGB 表色系 3 【S】 Snakes 92 【T】 t 検定 117 【W】 Ward 法 129 Watershed 法 91 【X】 XYZ 表色系 6 【Y】 YCbCr 表色系 9 YIQ 表色系 3 ∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼ 【数字】 2 次元線形システム 32 2 次微分フィルタ 43 2 値化 78 3 原刺激 2 3 原色 2 6 角錐モデル 4

コロナ社

(20)

——著者略歴—— 1982年慶應義塾大学工学部計測工学科卒業 1989年慶應義塾大学大学院博士課程修了（計測工学専攻），工学博士 1989年慶應義塾大学助手 1993年慶應義塾大学専任講師 2003年慶應義塾大学助教授 2007年慶應義塾大学准教授 2009年慶應義塾大学教授現在に至る 画像情報処理の基礎

Fundamentals of Image Information Processing Toshiyuki Tanaka 2019c

2019 年 6 月 13 日初版第 1 刷発行 ★ 著者検印省略た田なか中とし敏ゆき幸発行者株式会社コロナ社代表者牛来真也印刷所三美印刷株式会社製本所有限会社愛千製本所 112–0011 東京都文京区千石4–46–10 発行所株式会社コロナ社

CORONA PUBLISHING CO., LTD. Tokyo Japan

振替00140–8–14844・電話（03）3941–3131（代）ホームページ http://www.coronasha.co.jp

ISBN 978–4–339–02895–9 C3055 Printed in Japan （新宅）G ＜出版者著作権管理機構委託出版物＞

画像情報処理の基礎