Design of Integrated Image Filters Using Interactive Genetic Programming

九州大学学術情報リポジトリ

Kyushu University Institutional Repository

Design of Integrated Image Filters Using Interactive Genetic Programming

馬, 菁野

九州大学大学院芸術工学府

高木, 英行

九州大学大学院芸術工学研究院

http://hdl.handle.net/2324/1434425

出版情報：第2回進化計算学会研究会 第8回進化計算フロンティア研究会 合同研究会, pp.106-111, 2012-03

バージョン：

権利関係：

対話型遺伝的プログラミングによる複合画像処理フィルタの設計

Design of Integrated Image Filters Using Interactive Genetic Programming

馬 菁野

高木英行

Jing MA

Hideyuki TAKAGI

1

九州大学大学院芸術工学府

1

Graduate School of Design, Kyushu University

2

九州大学大学院芸術工学研究院

2

Faculty of Design, Kyushu University

Abstract: We combine a method for designing integrated image filters and interactive genetic programming (IGP) and comparatively evaluate the IGP-based filter design method with a manual- based filter design method and a filter combination function of Photoshop using human subjective tests. The integrated image filters consists of multiple simple image filters, arithmetic operators, arithmetic functions, constant values, and a pixel value of an input image in a tree structure, and genetic programming (GP) optimize the tree structure. Ten filter designers design integrated filters using a IGP method and a manual tuning method by observing the filter output and design cascade connection of filters using photo retouch software, Photoshop; given design concepts are relaxedandviolent. Twenty subjects compare images of pairs and evaluated which image is closer to the give concept. Wilcoxon signed-rank test showed that IGP-base filter design method created image filters that are closer to the given design concept than other two methods.

1 はじめに

タスク毎に手作業でフィルタ設計を行うことは労力 がかかる．しかも，例えば医療画像診断の専門家が医 療画像処理のユーザであるように，信号処理の専門家 でないフィルタ処理のユーザが手作業でフィルタ設計 をすることは現実的ではない．このためにフィルタの 性能を表現する目的関数を適宜し，各種最適化手法を 適用してフィルタ設計を自動化する様々な取組が行わ れてきた．

進化計算を用いてフィルタ設計を行う方法はその代 表的な方法の１つである．本論文で扱う画像フィルタ に限っても，遺伝的アルゴリズム（GA）やPSOを使っ た構成可能論理ブロックによる混合制約付画像フィル タの設計[2, 3, 4, 5]，Cartesian遺伝的プログラミン グ（Cartesian GP）を用いたノイズに堅牢な画像処理 フィルタの設計[13]，ボリュームレンダリング最適化の ためのGAベースの画像処理[14]，Cartesian GPを用 いた適応度景観の分析と画像処理フィルタの進化[11]，

乗算器不要の2次元画像フィルタのGAベースの設計

∗連絡先：九州大学大学院芸術工学府

      〒815-8540福岡市南区塩原4丁目9番1号       E-mail: majingyesoft＠yahoo.co.jp

と実装[6]などがある．

フィルタ性能の特性が定量的に表現できない場合に は，対話型進化計算（IEC）を用いてフィルタ設計が行 われ，音声歪補正フィルタ，補聴器フィッティングなど の音響信号処理だけでなく，画像フィルタの設計にも 使われている[12]．IECを用いた画像フィルタ設計の 研究の中でも，本論文と関係ある研究として，例えば，

磁気共鳴画像のためのカラーフィルタと超音波心臓画 像の差分表現をするフィルタを対話型GP（IGP）で設 計する方法[9]や，模擬育種法を用いた複数画像フィル タの処理順決定[7]がある．

本論文の目的は，複合画像フィルタ構築法であるAC- TIT [1, 8]とIGPを組合せることで，目標画像がない 場合でも複合画像フィルタが設計できることを示すと 共に，手作業や既成フォトレタッチソフトによるフィル タの逐次適用よりも性能がよいことを示すことである．

ACTITの特長は，GPで生成する従来の木構造フィル

タのように算術演算子，算術関数，定数だけでなく，複 数の基本フィルタもノードに用いることで画像処理性 能の向上を図る点と，入力画像と目標画像を与えるこ とで，入力画像を目標画像に近づけるフィルタをGP が自動生成する点にある．短所は，目標画像がない場

1

合には適用できないことである．ACTITとIGPを組 合せることで，目標画像がなくても画像処理ユーザが 心に目標画像の印象をイメージできれば目的とする画 像フィルタを構築できるようにする．

以下，第2節では，ACTITとIGPを組合せた複合 画像フィルタ設計システムを示し，第3節で，提案手 法と，手作業フィルタ設計法およびPhotoshopを用い た既成フィルタの逐次適用法とを比較し，主観評価実 験を通して提案手法の評価を行う．

2 IGP を用いた複合画像フィルタ設 計

提案システムは，図1に示すように，複合画像フィル タで画像処理を行うフィルタリング部と複合画像フィ ルタを進化させるGP部が中心となっている．処理画 像がIGPユーザ提示され，IGPユーザの評価値に基づ いてGP部が複合フィルタの構成を進化的に変える．

⏬

ീ ධ ຊ 㒊

䝣䜱䝹䝍䝸䞁䜾㒊 Interface㒊

ᥦ

♧ GP ホ౯್

ධຊ⏬ീ ฟຊ⏬ീ

図1: IGPを用いた複合画像フィルタ設計システム

フィルタリング部は，木構造のノードに予め用意し た簡単な要素画像フィルタ，算術演算子，算術関数を，

木構造の終端には定数と入力画像の画素値を持つ複合 フィルタで構成され，画像処理を行う．本論文での実 験には，「「ヒストグラム伸張処理フィルタ」，「ガンマ補 正フィルタγ= 1.5と0.3」，「シグモイド関数による変 換フィルタa= 1と10」，「先鋭化フィルタ」，「加重平 均平滑化フィルタ」，「エッジ抽出(両側の差分法)フィ ルタ」，「Sobelオペレータフィルタ」，「Sobelオペレー タを用いたエッジ保存平滑化フィルタ」[10]など10種 類の要素画像フィルタを用いる．また本論文での実験 では，24 bitsカラーのbitmap画像を扱う．

フィルタ構造例を図2に示す．図中のXは入力画像 の画素値，Fiは事前に用意する要素画像フィルタであ る．Xの個数はランダムに生成し木構造によって異な る．図2の場合，2つのXがあるため，同じ画素値を2 回入力する．この例の場合，出力値はF₅(X+2, F₃(X)) となり，この値が，入力画素と同じ座標の出力画像の 画素値となる．一つの処理システムしか持たない直列 接続（逐次処理）の複合フィルタに比べ，より複雑の

問題が処理できる．木構造表現の特殊形が直列接続で あることからも処理能力の向上は容易に推察できる．

O I

I

䠇 F5 F3

I䠖ධຊ⏬ീ

O:ฟຊ⏬ീ

Fi䠄i=1,2,3…䠅䠖᪤▱䝣䜱䝹䝍

X 27 X

図2: 複合画像フィルタの例

本論文の実験に用いる木構造フィルタでは，1〜100 までの定数と入力画素値Xを終端ノードに，算術演算 子，算術関数，10種類の要素フィルタを非終端ノード に用いる（表1）．ノードに割り当てる要素フィルタ，

演算子，定数などの種類と個数を変えることで，フィ ルタの処理能力が変わる．

表 1: 本実験で用いる木構造フィルタのノード 終端ノード 非終端ノード 定 数: 1〜100 フィルタ：F1〜F10

画素数: X 単項演算子: sin, cos, tan, log 二項演算子: +, -, *, /

GPでは木構造の多様性を保持することは重要であ るが，木構造が小さすぎる場合は処理能力に限りがあ り，大きすぎる場合はフィルタリング処理時間が長く なり実用性が低下する．この対策として本論文での実 験システムでは，木構造の深さを制約するために表2 の終端ノードと非終端ノードの生成確率を与えて木構 造サイズを一定レベルに抑えるようにしている．実験 者がこの生成確率を調整することで木構造サイズを制 御できる．さらに，各ノードに割り振られる演算子等 にも生成確率を与えることで木構造生成の制御を行う．

表2: 各ノードパラメータの生成確率 終端: 0.3 非終端: 0.7 定 数: 0.7 要素フィルタ：0.5 画素値X: 0.3 単項演算子: 0.2

二項演算子: 0.3

3 評価実験

3.1 実験の概観

提案手法であるIGPによる複合フィルタ設計法を，

従来のフィルタ設計法である手作業によるフィルタ設 計とフォトレタッチソフトウェアに用意されているフィ ルタを組み合わせる方法と比較評価する．

手作業によるフィルタ設計法では，比較するIGPに よる複合フィルタ設計法と同じ木構造のフィルタを試 行錯誤で設計する．入力方法はポーランド記法で，図 2の場合，F₅+X27F₃Xとキーボード入力する．

フォトレタッチソフトウェアを用いる実験にはAdobe

社のPhotoshopを用いる．内部には水彩画やペンティ

ングなど数十のフィルタが用意されており多彩な処理 ができる他，これらのフィルタ処理画像に更にフィル タを適用することができるため，これらの組み合わせ は膨大な数になる．さらに，フィルタをA, B, Cの順 に適用した結果と，その逆順に適用した場合の結果は 同じにならないため，用意されているフィルタの最適 組み合わせは容易ではない．

第1実験として，提案手法のIGPが求める画像に近 くなるような複合フィルタを探し出せるかの収束実験 を行う．人間を使った場合の収束判定は難しいので，大 局的には大谷構造をした多峰性の混合ガウス関数を用 いた疑似IGPユーザを用意し，目標画像を与えるもの の，フィルタ出力と目標画像の差を5段階評価するこ とでIGPユーザを模擬する．

第2実験では，提案手法のIGPによる複合フィルタ 設計と，手作業による複合フィルタ設計を比較する．10 名のフィルタ設計者がそれぞれの手法で設計した最良 フィルタで画像処理し，どちらが与えたデザインコン セプトに近いかを，20名の被験者を用いた主観評価実 験を行う．実験に用いるデザインコンセプトは，「リラッ クス」「激しい」の2種類である（表3）．

第3実験では，提案手法による複合フィルタ設計と Photoshopを用いた画像処理とを比較する．10名のフィ ルタ設計者がそれぞれの手法で設計した最良フィルタ で画像処理し，どちらが与えたデザインコンセプトに 近いかを，20名の被験者を用いた主観評価実験を行う．

デザインコンセプトも同じである（表3）．

表3: 被験者条件とデザインコンセプト 複合フィルタ設計者     10名 主観評価実験の評価被験者 20名 デザインコンセプト 「リラックス           「激しい」

3.2 実験 1 ：擬似対話型ユーザによる収束実 験

本実験では511×456の24bitカラー画像を用いる．

IGPの実験条件を表4に示す．10個体の30世代収束 状況を図3で示す．疑似IGPユーザによるシミュレー ション実験と適応度関数を用いるGP探索との違いは，

エリート個体の選択にもある．IGPユーザを模擬する よう5段階評価を行うため，同じ評点の個体が複数生 じ得る．この場合のエリートは同点個体の中からラン ダムにエリート個体を選択するため，評点に含まれる 量子化ノイズの影響を受ける．

表4: GPの実験条件

個体数 10

世代数 30

交叉率 80 % 突然変異 1 % エリート 上位2個 選択方法 ルーレット選択 木の深さ制限 20

実験結果を図3に示す．選択演算では，同じ5段階 評点の個体は同じ確率で選択される．エリート個体も 同様である．実際の個体には差があるにもかかわらず，

人間は5段階評価をするため丸め誤差が避けられず，エ リート戦略を取っているにも関わらず収束曲線は乱高 下する．しかし，大局的に見れば，提案手法は収束す ることが判かる．

ୡ௦ᩘ

䝣 䜱 䝑 䝖 䝛 䝇

್

図 3: 疑似IGPユーザによる収束結果

3.3 実験 2：IGP による複合フィルタ設計 vs. 手作業による複合フィルタ設計

3.3.1 IGPによるフィルタ設計

10名の被験者が，「リラックス」「激しい」の2デザ インコンセプトにあった画像を生成する複合フィルタ をそれぞれ30分間で探索する．実験条件は表4と同様 である．

毎世代10画像をユーザに提示し，ユーザは画像を見 て5段階評点をする．この際，選択圧がかかるよう，必 ず最低の1点と最高の5点を提示10画像のどれかに 強制的に与える．5点が与えられた画像は自動保存す る．作業時間30分を経過したら，保存された全世代中 の5点画像全部をユーザに提示し，ユーザはその中か ら最も「リラックス」する画像と最も「激しい」画像 を選ぶ．

3.3.2 手作業によるフィルタ設計

前節のIGPによる複合フィルタ設計実験と同じ2デ ザインコンセプト（「リラックス」「激しい」）に対して，

各々30分ずつ手作業で複合フィルタ設計を行う．フィ ルタ設計に使えるノードの種類は前節の実験と同じく

（表1）である．

実験は，最初に複合フィルタのポーランド記法での 入力方法（第3.1節参照）の説明後，キーボードで順 次複合画像フィルタを手入力し，画像を自動保存して いく．30分間の繰り返し作業の後，最もデザインコン セプトにあった画像を選択する．実験の手順（以下を もっと簡単に）：

1. 予め用意したフィルタの機能と木構造フィルタの 入力ルールを説明する．

2. 処理する画像を入力する．

3. 木構造フィルタを入力する．

4. 処理された出力画像を評価する．

5. 30分間，2〜4を繰り返す．

6. 30分後，保存された画像の中の最も「リラック

ス」または「激しい」画像を選ぶ．

3.3.3 主観評価実験

10名のフィルタ作成者が3.3.1節と3.3.2節で設計し たフィルタで処理された画像のいずれがよりデザイン コンセプトに近いかを，大学生20名が5段階評価で対 比較をし，統計検定を行う．

危険率 5%でWilconxonの符号検定を行った結果，

フィルタ作成者10名中8名に対して，有意にIGPで設

計したフィルタの方がよりデザインコンセプト「リラッ クス」に近い画像を生成でき，10名全員に対して，有 意にIGPで設計したフィルタの方がよりデザインコン セプト「激しい」に近い画像を生成できた（表5）．手 作業によるフィルタ設計が有意によい場合はなかった．

3.4 実験 3：IGP による複合フィルタ設計 vs. Photosho によるフィルタ組合せ

3.4.1 Photoshoによるフィルタ組合せ実験

「リラックス」と「激しい」の２テーマそれぞれで最 大30分間，Adobe社Photoshop CS5.1を用いてフィ ルタ設計を行う．Photoshopでのフィルタリング処理 の途中結果をファイルに一時保存をすることで，実験 2のような木構造的な複合フィルタリングができない こともないが，通常の利用方法は，フィルタ処理結果 に次にフィルタを適用するという逐次適用である．そ のため，実験3でも同様に，逐次適用を行う．具体的 には，図4に例示するようなフィルタを次々に適用し，

与えられたデザインコンセプトに合うと思われる画像 処理結果が得られるまで最大30分間フィルタリング設 計を行う．

図4: Photoshop内蔵のフィルタ例

3.4.2 主観評価実験

10名のフィルタ作成者が3.3.1節と3.4.1節で設計し たフィルタで処理された画像のいずれがよりデザイン

コンセプトに近いかを，大学生20名が5段階評価で対 比較をし，統計検定を行う．

危険率 5%でWilconxonの符号検定を行った結果，

フィルタ作成者10名中7名に対して，有意にIGPで 設計したフィルタの方がよりデザインコンセプト「リ ラックス」に近い画像を生成でき，10名中6名に対し て，有意にIGPで設計したフィルタの方がよりデザイ ンコンセプト「激しい」に近い画像を生成できた（表

5）．Photoshopによるフィルタ設計が有意によい場合

はなかった．

4 _考察

実験2と3の結果を表5にまとめる．基本的に，提 案手法のIGPによる複合フィルタ設計法は，目標画像 がない場合の有力な画像処理方法になり得ると言える．

表 5: 実験2と3の危険率5%でのWilcoxonの符号検 定結果．IGP，手作業，Photoshopは，それぞれ，提 案手法のIGPによる複合フィルタ設計，手作業による 複合フィルタ設計，Photoshopによるフィルタ組合せ，

を表す．

実験 コンセプト 結果

実験2 リラックス 10名中8名がIGP>^手作業 激しい 10名中10名がIGP>^手作業 実験3 リラックス 10名中7名がIGP>Photoshop

激しい 10名中6名がIGP>Photoshop

フィルタ設計パラメータ（遺伝型）と処理画像（表 現型）は一対一対応していない距離の遠い関係になる ので，処理画像を見ながらフィルタ設計の構造やノー ドを入れ替える作業は容易ではなく，基本的に手作業 設計は試行錯誤にならざるを得ない．このため，目標 画像を与えてGPあるいは最適化手法を適用できない 本論文が扱う問題においては，IGPと組み合わせる設 計手法が手作業によるフィルタ設計法に比べて優位性 になった今回の実験結果は，一般的には妥当であると 思われる．

Photoshopとの比較実験では両者で使っている要素

画像フィルタが異なるので，今回の実験結果が今後とも 成り立つとは一概には言えず，与えるデザインコンセプ トによってはPhotoshopで用意しているフォトレタッ チ用フィルタが適していることもあり得る．しかし，同 じ要素フィルタ，算術演算子，算術関数などの同じノー ドの選択種類が与えられた場合，今回のPhotoshopの 実験に用いた直列にフィルタを接続する方式は，木構 造で組み合わされる特殊な場合と言えるので，同じ実 験ノード条件であるならば，提案手法が一般的にフォ

トレタッチソフトウェアを用いるよりはよい結果を示 すと考えることは妥当である．

今後の実用化に向け，さらに有効な画像処理手法に するために，本システムを実際に試用して改良すべき 3点を以下に述べる．

第1は，木構造フィルタを構成するノードに用いる 要素フィルタ数，算術演算数，関数数，定数数を増加 させフィルタの表現能力を増加させることである．本 論文の実験システムで用いた木構造フィルタを構成す るノードの種類は表1に示す，118種類である．定数 を除けば18種類しかない．システムの汎用性とより複 雑の問題を扱うためできるだけ多くのノードの要素数，

特に基本画像処理フィルタ数を増やす必要がある．

第2は，ランダム初期値からの探索ではなく，ある 程度探索範囲を絞った範囲の初期値からの探索である．

これはすべての最適化手法に共通することで，事前知 識等を用いて探索範囲を狭めることができれば，特に 対話型進化計算ではユーザ疲労軽減につながる．

第3は，ユーザインターフェイスの改良である．イン ターフェイスの仕様はユーザの疲労に大きな影響を与 える．本論文での実験ではグラフィカルユーザインタ フェース（GUI）を開発する余裕がなかったためGUI なしで実験を行った．GUIを用いれば，提案手法のIGP および手作業でのフィルタ設計のユーザ疲労が軽減さ れるので，特に実験3で提案手法の効果が大きくなっ たものと思われる．

5 まとめ

本論文では，木構造の画像フィルタにおいて，非終 端ノードに算術演算子や算術関数だけでなく要素画像 フィルタを持つことを許す複合画像フィルタにIGPを 組み合わせることで，目標画像が得られない場合であっ てもフィルタ設計ができる枠組みを提供し，手作業で 同様の複合画像フィルタの設計，および，既存フォト レタッチソフトウェアでのフィルタ組合せと比較して，

より，与えられたデザインコンセプトに近い画像処理 が可能なフィルタを生成できることを実験的に示した．

更に，この実験結果は，汎用性を持った実験結果であ ることを考察した．

謝辞

本研究は科学研究費（課題番号23500279）の助成を 受けたものである．

参考文献

[1] 青木紳也,長尾智晴「木構造状画像変換の自動構築法AC- TIT」映像情報メディア学会誌，vol.53, no.6, pp.888–

894（1999）．

[2] Bao, Z., Watanabe, T., “Evolutionary design for image filter using GA,” IEEE Region 10 Annual Int. Conf. (TENCON2009), Singapore, pp.1–6 (Jan., 2009) .

[3] Bao, Z., Wang, F., Zhao, X., and Watanabe, T., “Fault-tolerant image filter design using GA,”

IEEE Region 10 Annual Int. Conf. (TENCON2010), Fukuoka, Japan, pp.897–902 (Nov., 2010).

[4] Bao, Z., Watanabe, T., “Mixed constrained image filter design using particle swarm optimization,” Ar- tificial Life and Robotics, vol.15, no.3, pp. 363–368 (2010).

[5] Bao, Z., Wang, F., Zhao, X., and Watanabe, T.,

“Mixed constrained image filter design for salt-and- pepper noise reduction using Genetic Algorithm,”電 気学会論文誌C（電子・情報・システム部門誌）, vol.131, no.3, pp. 84–591 (2011).

[6] Lockett, D.J., Roblee, C.D., and Rudko, M., “Ge- netic algorithm based design and implementation of multiplierless two-dimensional image filters,” Intelli- gent Engineering Systems Through Artificial Neural Networks, vol.13, St. Louis, USA, pp.333–339 (Nov., 2003).

[7] 武藤武士,駒形伸子,上田勝彦「模擬育種法を用いた画 像フィルタシーケンスの自動生成の試み」ワークショッ プ「インタラクティブ進化的計算論」, 福岡, pp.7–12 (1998).

[8] 長尾智晴「進化的画像処理 」昭晃堂(2002).

[9] Poli, R. and Cagnoni,S., “Genetic programming with user-driven selection: Experiments on the evolution of algorithms for image enhancement” 2nd Annual Conf. on Genetic Programming, pp.269–277 (1997).

[10] 昌達慶仁： 詳解画像処理プログラミング ，ソフトバ ンククリエイティブ株式会社（2008）．

[11] Slan´y, K. and Sekanina, L. “Fitness landscape anal- ysis and image filter evolution using functional-level CGP,” 10th European Conference on Genetic Pro- gramming (EuroGP2007), Valencia, Spain, pp.311–

320 (April, 2007).

[12] Takagi, H., “Interctive evolutionary computation:

Fusion of the capabilities of EC optimization and hu- man evaluation,” Proceedings of the IEEE, vol.89, no.9, pp.1275–1296 (2001).

[13] Vasicek, Z. and Bidlo, M., “Evolutionary design of robust noise-specific image filters,” 2011 IEEE Congress of Evolutionary Computation (CEC2011), New Orleans, USA, pp.269–276 (June, 2011).

[14] Zheng, Z.-R., Liu, Z.-C., Liu, X.-Y., and Du, P., “ Genetic algorithm-based image preprocessing for vol- ume rendering optimization,” 2009 IEEE Int. Sympo- sium on IT in Medicine and Education (ITME2009), Jinan, China, pp.389–393 (Aug., 2009).