分割ホップフィールドニューラルネットワークによる画像処理の研究

社団法人 電子情報通信学会

THE INSTITUTE OF ELECTRONICS,

INFORMATION AND COMMUNICATION ENGINEERS

信学技報

TECHNICAL REPORT OF IEICE.

分割ホップフィールドニューラルネットワークによる画像処理の研究

志摩 知哉

生田 智敬

上手 洋子

西尾 芳文

†

770–8506

2-1 E-mail: †{ s-tomoya, ikuta, uwate, nishio } @ee.tokushima-u.ac.jp

あらまし 人間の記憶能力は，人間のもつ高次情報処理能力のひとつである．本研究では，人工ニューラルネットワー クを用いて人間の脳の記憶能力を実現するために，「分割ホップフィールドニューラルネットワーク（PHNN)」を提案 する．コンピュータシミュレーションにより，PHNNが局所的な記憶画像から，画像全体を想起することを示す．

キーワード ホップフィールドニューラルネットワーク，画像処理，連想記憶

Investigation of Image Processing by Partitioned Hopfield Neural Network

Tomoya SHIMA

, Chihiro IKUTA

, Yoko UWATE

, and Yoshifumi NISHIO

† Department of Electrical and Electronic Engineering, Tokushima University 2-1 Minami-Josanjima, Tokushimashi, Tokushima, 770-8506, Japan

E-mail: †{ s-tomoya, ikuta, uwate, nishio } @ee.tokushima-u.ac.jp

Abstract Memory ability of human is one of interesting high-functional information processing. In this study, in order to realize the memory ability of the human brain by using a artificial neural network, a “Partitioned Hopfield Neural Network (PHNN)” is proposed. By computer simulations, we confirm that the proposed PHNN recalls the whole image from a part of the stored images.

Key words Hopfield Neural Network, Image Processing, Associative Memory

1.

人間の脳は，視覚から情報を得たとき，形，大きさ，配置等 のたくさんの情報を記憶する[1]．この記憶能力は人間のもつ 高次情報処理能力のひとつである[2]．例えば，画像Aを記憶 した後に，画像Bを見たとする．画像Bには画像Aと同じパ ターンが含まれており，この画像Bに含まれているパターン を見ることによって，人間は記憶していた画像A全体を思い 出すことができる（図1に画像A，Bを示す）．すなわち，人 間は入力された多くの情報の中から，必要な情報だけを選択す ることが可能である．もし，この記憶能力が工学的分野で応用 されれば，少ない情報からたくさんの情報を得られるようにな ると考えられる[3]- [6]．この記憶能力を実現するために，我々 はホップフィールドニューラルネットワーク（Hopfield Neural Network: HNN）を用いた新しい画像処理の提案を行う．

HNNは，1982年にJohn Hopfieldによって提唱された人工 ニューラルネットワークのひとつで，生物学のニューロンモデ ルを基にしたモデルである[7]．HNNは連想記憶や組み合わせ 最適化など多くの応用例が提案されている[8]．我々は，この HNNによる連想記憶の機能に注目し，画像処理の応用を考え

た．今回，HNNを画像処理に適用するにあたり，画像の1ピク セルの値を1個のニューロンの出力とした．これにより，HNN は複数の記憶している画像から，入力画像全体と類似している 画像を想起する．しかし，この連想記憶の機能は，例にあげた 人間の脳の記憶能力とは異なる．

(a) (b)

図1 画像の例．(a)画像A．(b)画像B．

そこで我々は，例にあげた人間の脳の記憶能力を実現するため に「分割ホップフィールドニューラルネットワーク(Partitioned HNN: PHNN)」を提案する．この手法では，画像をセルと呼ば れる小さな範囲ごとに分割する．各セル内に，スモールHNN

（ニューロンユニット数の少ない，小さなHNNのこと）を配置 することで，入力画像に類似している局所的なパターンのみを 想起することができる．本研究では，コンピュータシミュレー

ションによって，PHNNが画像の局所的な特徴から画像全体を 想起できることを示す．

2. HNN

本章では，HNNを用いた連想記憶の方法について説明する．

なお我々が従来のHNNを画像処理に用いる場合，画像の1ピ クセルは1個のニューロンに相当する．

HNNは自己結合をもたない相互結合型ニューラルネットワー クであり，ニューロンユニット間の結合荷重を決めることで，

複数のパターンを記憶することが可能である．結合荷重は，

wij= { ¹

P

∑P

p=1x^(p)_i x^(p)_j (i=| j)

0 (i=j), (1)

の式で表される．ここで，P はパターン数，xは各パターンご とのピクセル値，そしてwは結合荷重を表している．各ニュー ロンの状態方程式は，式(2)のように表される．

ui(t) =

∑n

j=1

wij(t)xj(t), (2)

ここで，uはニューロンの内部状態，xは入力もしくは出力を表 している．次に，ニューロンの出力は式(3)によって表される．

xi(t+ 1) =

{ 1, (ui(t)>= 0)

−1, (ui(t)<0), (3)

この式より，uが0より小さい場合，ニューロンの式は−1と なる．それ以外では，ニューロンの出力は1となる．

以下にHNNの想起までの手順を示す；

（1） 式(1)を用いて，HNNが複数のパターンを記憶．

（2） HNNに未知の画像を入力．

（3） uが結合荷重と他のニューロンからの入力により決定．

（4） ニューロンの出力を式(3)により決定．

（5） HNNはこの更新を繰り返すことにより，記憶されて いるパターンのうちのひとつを想起．

3. PHNN

HNNのときと同様に，画像の1ピクセルは1個のニューロ ンに相当する．ただし，PHNNの場合は，シミュレーションに 応じて画像を小さな正方形の領域ごとに分割する．我々はこの 領域を「セル」と呼ぶ．各セルはピクセルで構成されており，

それぞれのセルにはスモールHNNが含まれている．このス モールHNNの更新ルールは，上記のHNNで使われていた式 と同様のものである．図2にPHNNの構成例を示す．図2に おいて，各セルは2×2のピクセルを持っており，これは各セル が2×2のスモールHNNを持っているということを意味して いる．本研究で行うシミュレーションの場合は，このスモール HNNは4×4，もしくは8×8のニューロンユニットを持つ．

（1） PHNNを画像のセルごとに配置．

（2） 各スモールHNNは式(1)を用いて，セル上のパター ンを記憶．

（3） 未知の画像をそれぞれのセルに分割して入力．

図2 PHNNの構成．

（4） 各スモールHNNはHNNの更新ルールを繰り返すこ とにより，セル上にある入力画像の局所的なパターンと類似し ているパターンのみを想起．

（5） 想起された画像と記憶されている画像を比較し，想起 されたパターンが完全に一致しているセルの数を算出．

（6） PHNNは複数の記憶画像の中から，同じパターンの セルをより多く含んでいる記憶画像全体を想起．

図3にPHNNによる想起の例を示す．

図3 PHNNの想起の例．

4.

本章では，「PHNNによる画像の想起」と，「PHNNによる看 板の検出」の2つのシミュレーションを行い，PHNNと従来の HNNの振る舞いを確認し，比較検討する．我々は比較の指標 として，ハミング距離（Hamming Distance: HD） に着目し た．HDとは，2枚の画像間で，対応する位置にある異なった ピクセル値の個数を表したものであり，今回はこのHDを記憶 画像と入力画像から得る．HDが近ければ近いほど，画像間で 等しい値のピクセル数が多い，つまり記憶画像と入力画像が類 似しているといえる．一般的に，画像全体を想起するHNNで は，複数の記憶画像のうち，よりHDの近い記憶画像を想起す ることが知られている．なおシミュレーション中は，HNNは セルのことは考慮せず，すべてのニューロンが互いにつながっ ていることとする．また画像は64×64ピクセルの大きさのも のを用いる．

4. 1 PHNNによる画像の想起

初めに，PHNNによる局所的な画像からの画像全体の想起 を行う．PHNNの振る舞いを表すために，3枚の2値画像（図 4の(a)，(b)，(c)）を用意した．図4の(a)と(b) は記憶画 像，図4の(c)は入力画像で，それぞれ画像の中には看板のパ ターンが含まれており，図4(c)の看板は，図4(a)の看板と完 全に一致している．図4(a)のHDは2161，図4(b)は1297で あるため，従来のHNNが図4(b)を想起すると考えられるが，

PHNNは局所的な画像を想起するため，同じ看板のパターン を含む図4(a)を想起すると考えられる．なお，このシミュレー ションでは，各セルに4×4のニューロンユニットを用いる．

(a) HD = 2161 (b) HD = 1297

(c)

図4 「PHNNによる画像の想起」のシミュレーションにおける記憶 画像と入力画像．(a)記憶画像(COOL!)．(b)記憶画像(GO!)．

(c)入力画像．

図5(a)はHNNにより想起された画像，図5(b) はPHNN により想起された画像，図5(c)はPHNNによる全体の想起画

像である．HNNは図4(a)よりHDが近い図4(b)を想起した ので，HNNの結果はHDに依存しているといえる．それに対 して，図5(b)は局所的に想起して図4(a)の看板の絵を鮮明に 想起することにより，図5(c)のような想起結果が得られた．し たがって，PHNNの結果はHDに依存することなく，図4(c) の看板の部分によって図4(a)を想起できたといえる．

(a) (b)

(c)

図5 「PHNNによる画像の想起」のシミュレーションにおける想起 画像．(a) HNNによる想起画像．(b) PHNNによる局所的な 想起画像．(c) PHNNによる全体の想起画像．

我々は記憶画像(図6(c)と(d))を増やし，同様のシミュレー ションを行った．図7の結果から，たとえ記憶画像が増えた場 合でも，図5のときと同様の結果を得ることが可能だといえ る．これらの結果から，HNNがHDに依存すること，および PHNNが局所的な画像から画像全体を想起可能であることを 示せた．

4. 2 PHNNによる看板の検出

ここではPHNNが他の記憶画像からの影響を受けずに，局 所的な記憶画像を想起できるかどうかを，2種類の入力画像を 用いたシミュレーションにより示す．1回目のシミュレーショ ンでは，図8(e)を入力画像とし，2回目のシミュレーションで は，図8(f)を入力画像とする．記憶画像には図8の(a)〜(d) の4枚の画像を用いる．図8(a)は同じパターンの看板が，画像 スペースに規則正しく配列されている画像であり，図8(e),(f) にもこの看板と同じパターンが含まれている．また図8(b)は 最も図8(f)に近いHDを持っている画像であり，図8(c)は最 も図8(g)に近いHDを持っている画像である．なお，このシ ミュレーションでは，各セル8×8のニューロンユニットを用 いる．

図9(a)と図9(b)は，それぞれ入力画像が図8(e)，(f)のと きに，HNNによって想起された画像である．HNNは，それぞ れ最もHDが近い図8(b)，(c)を想起したので，HNNはHD に依存しているといえる．図9(c)と図9(d)は，それぞれ入力

(a) HD = 2161 (b) HD = 1297

(c) HD = 1989 (d) HD = 1836

(e)

図6 記憶画像を画像を増やした場合の，「PHNNによる画像の想起」

のシミュレーションにおける記憶画像と入力画像．(a)記憶画像 (COOL!)．(b)記憶画像(GO!)．(c)記憶画像（NOISE）．(d) 記憶画像(PATTERN)．(e)入力画像．

画像が図8(e)，(f)のときに，PHNNによって想起された画像 である．PHNNの想起画像である図9(b)，(d)は，両方とも図 8(a)の看板の絵を完全に想起している．したがって，PHNN は他の記憶画像の影響を受けずに，局所的な記憶画像を想起で きることを示せた．

5.

本研究において，我々はPHNNを提案し，画像処理に応用 した．このPHNNはセルごとに配置され，セル上の局所的な 入力画像と類似しているパターンのみを想起する．我々はふた つのシミュレーションによって，PHNNの振る舞いを表した．

最初のシミュレーションでは，PHNNが局所的な画像から画像 全体を想起することを示し，もう一方のシミュレーションでは，

PHNNが他からの影響を受けることなく，局所的な記憶画像 想起することを示した．これらの結果により，我々はHNNと は異なるPHNNの振る舞いを表すことができた．

文 献

[1] M.J. Tarr and H.H. B¨ulthoff, “Image-Based Object Recog- nition in Man, Monkey and Machine,”Cognition, vol. 67, pp. 1-20, July 1998.

[2] A. Knoblauch, “Natural Associative Memory for Brain Modeling and Informatation Retrieval,”Information Pro-

(a) (b)

(c)

図7 記憶画像を画像を増やした場合の，「PHNNによる画像の想起」

のシミュレーションにおける想起画像．(a) HNNによる想起画 像．(b) PHNNによる局所的な想起画像．(c) PHNNによる全 体の想起画像．

cessing Leters, vol. 95, pp. 537-544, 2005.

[3] Y.T. Zhou, R. Chellappa, A. Vaid and B.K. Jenkins, “Image Restoration Using a Neural Network,”IEEE Trans. Acoust.

Speech. Signal Processing., vol. ASSP-36, pp. 1141-1151, 1988.

[4] Y. Chigusa, K. Suzuki, A. Hattori, M. Ikegami, M. Tanaka,

“An Image Reconstruction System By Neural Network with Median Filter,”IEEE ISCAS’93, pp. 2446-2449, 1993.

[5] G. Palm,“On Associative Memory,”Biol. Cybern., vol. 36, pp. 19-31, 1980.

[6] N. Ikeda, P. Watta, M. Artiklar and M. H. Hason, “A Two- Level Hamming Network fo High Performance Associative Memory,”Neural Networks, vol. 14, pp. 1189-1200, 2001.

[7] J.J. Hopfield, “Neural Networks and Physical Systems with Emergent Collective Computational Abilities,”Proc. Natl.

Acad. Sci. USA, vol. 79, pp. 2554-2558, 1982.

[8] S.S. Young, P.D. Scott and N.M. Nasrabadi, “Object Recog- nition Using Multilayer Hopfield Neural Network,”IEEE Trans. Image Process., vol. 6, no. 3, pp.357-372, 1997.

(a) HD = 2294 (b) HD = 839

(c) HD = 1756 (d) HD = 1606

(e) (f)

図8 「PHNNによる看板の検出」のシミュレーションにおける記憶 画像と入力画像．(a)記憶画像A．(b)記憶画像B．(c)記憶 画像C．(d)記憶画像D．(e)入力画像1．(f)入力画像2．

(a) (b)

(c) (d)

図9 「PHNNによる看板の検出」のシミュレーションにおける想起 画像．(a)入力画像1のときのHNNによる想起画像．(b)入 力画像2のときのHNNによる想起画像．(c)入力画像1のと きのPHNNによる局所的な想起画像．(d)入力画像1のときの PHNNによる局所的な想起画像．