直交変換との比較による相関変換を用いた特徴抽出の評価
（昭和57年5月31日 原稿受付）
情報工学教室玉木明和
The Evaluation of the Feature Extraction by Correlation Transform in comparing with the Orthogonal Transforms
by Akikazu TAMAKI
Abstract
The author describes of the research of the feature extraction method which is the very
important part of a pattern recognition system． He has propo＄ed Correlation Transform which is the generalization of Fourier transform， and is also called integral transform， The transform桓nct輌◎n system◎f Fourier transformτe騨ires the（）r古（）9《mal柱y， howeveτ， C（）汀el就桓n Trans−
f◎md◎es n◎t． The transform function system of Correlation Transform requires the close−
relation to the patterns to be processed， The feature extracted by Correlation Tran＄form is
compared with that by Hadamard transform， Haar transform， Fourier transform and Karhu・
nen−Loδve transform． The auth◎r checked up the distributi◎n of the feature量Mhe fea勧re space for each axi§， and descτibes the availab輌艮ty of Correlati◇n Tmnsfo抱in the mult輌一class斑tem
recognition． The sample patterns， from which the features are extracted， consist of eight Iclass−
es， and each class consists of 2000 patterns。 The distribution of eight classes is Iinear separable．
まえがき ンの糎を考慮し増徴繊法としてKa「hune汎゜百ve
変換を利用できる。これは。パターンを表現するベクト パターン認識はパターンのもつ莫大な情報から必要な ルの各座標軸の共分散行列の固有ベクトルによって変換 情報だけを取り出す特徴抽出部分とその特徴を認識する を行うものである。一方，上で述べた変換函数系（ベク 認識部分に分けて論じられる。特徴抽出は，認識の前に トル系）が直交性をもつのに対して，相関変換のそれは 行われ，認識結果に大きな影響を及ぼすため，重要であ 直交性を要求しない。本実験で用いたように，対象とし る。本報告は特徴抽出法についての研究の結果を述べる。 ているパターンのクラスごとの平均パターンを変換函数 著者は，Fourier変換などの理論を一般化した相関変 系（ベクトル系〉とすることができる。すなわち，相関 換を提案した61これは，積分変換とも呼ばれる。F◎urler 変換では変換函数系として，対象パターンをそのまま用 変換などでは，対象とするパターンの性質を考慮するこ いており，特徴函数（ベクトル）は，対象パターン間の
となく，変換函数系（積分変換では核函数と呼ぶ。）に直 相関を利用しているのである。
交函数系を用い，三角函数，Haar函数， Hadamard函 著者は，2クラスの場合，相関変換による特徴抽出法 数などがよく使われる。ディジタルコンピュータでパ を用いた認識実験を行い，相関変換が有効であることを ターン認識を行う場合，パターンをベクトル表現するご 報告したさ）今回，多クラスの場合の予備実験として，相関
とが多い。本実験では，視覚パターンを対象としている 変換による特徴抽出結果を他の変換によるものと比較し
ため，パターンベクトルをマトリックス状に表現してい た。サンプルパターンとして，各クラス2000個から成る
る。したがって，これを有限次元ベクトルと考え，パター パターンを8クラス，合計16000個のパターンに対して，
種々の変換による特徴抽出を行った。さらに，特徴空間 つける方法は，図一1に示す各々の値を平均として，分散 における特徴ベクトルの分布を各座標ごとに比較し，相 （0．3）2の正規分布による変化を加えた。図一1において，黒 関変換の有用性を述べる。本実験で用いたサンプルパ の部分は＋1，斜線の部分は0，白の部分は一1を表わ ターンのクラスの分布は線形分離可能である。 す。マトリックス状のパターンの（ζ力要素がκの値を とる確率れ、（κ）は
相関変換の原理
視覚パターンは，R・の・ンパクトな部分集合X1で定 醐一忌α3・xp〔一†（箒）2〕
義された実数値函数と考えることができる。変換函数系
Gの要素9は1〜2×R2で定義された実数値函数である。 ここで，元は平均の値を表わし，＋1，0，−1のひとつ
これを9（κ，y；〃，のと表わし，（κ， y）を変数と考える である。時は（μ，のをある値に固定されたパラメータとみなす。
変換函数系Gを集合の形で表現すれば，
G＝｛9（・，・；μ，の：（μ，のε」9
となる。ここで，X2は1〜2のコンパクトな部分集合であ り，index setと考えることができる。パターン函数んは 変換函数系Gによって，特徴函数∫に変換される。すな
わち，
ノ（・，の一∬蝸）9（尤y；鋼）吻吻
となり，特徴函数∫（・，・）はX2で定義された実数値
a b c d
e f q h
函数である。 ■＋1 田 o ロ ー1 ディジタルコンピュータでシミュレーションを行う場
合は，マトリツクス状のベクトル表現として， 図一1 基本パターン
ハア ヱ
∫（1，勿）＝ΣΣカ（ ，ノ）9（i，∫；1，勿）
ド ゴェ
となる．ここでは，x1はN。Nのマトリ。クスになる。 実験方法
ディジタルの場合・函数の代わりにベクトルという言葉 変換ベクトル系Gを変えて，Hadamard変換， Haar を用い・変換ベクトル系，特徴ベクトルと呼ぶことにす 変換，Fourier変換， Karhunen−Loeve変換，相関変換 る。特徴ベクトルの次元は集合X2の濃度となる。変換べ を行いサンプルパターンの特徴抽出を行った。その特徴 クトル系GをHadamard函数・Haar函数系などに変 ベクトルは，有限次元ベクトルとして表現される。特徴 えることにより・種々の変換を行うことができる。 抽出法の評価は，特徴ベクトルの座標軸の値の出現頻度
サンプルパターン の分布を調べることにより行った・以下略変換のため
の変換ベクトルの構成について述べる。
本実験で用いる視覚パターンは，8×8のマトリック 1．Hadamard変換
ス状に表現されている。図一1に示す基本パターンから ・Hadamard函数系（胡を用いる。特徴ベクトルの次 ランダムな変化をつけて，2000個のパターンを発生し， 元は64である。
ひとつのクラスとした。基本パターンが8個，すなわち， 2．Haar変換
クラスの数が8個であり・サンプルパターンは全部で Haar函数系・・2｝を用いる。特徴ベクトルの次元は64 16000個となる。各クラスの名前は，対応する基本パター である。
ンの名前の大文字で表わす。たとえば 基本パターンa 注1）参考文献2P253参照
・から生成されたクラスはAで表わす。ランダムな変化を 注2）参考文献2P．256参照
3．Fourier変換 の横軸に，その頻度を縦軸にとったものである。頻度は 2次元sine函数謝および2次元c◎sine函数3｝を 横軸（相関）の値の最大値，最小値をもとめ，その間を 用いる。特徴ベクトルの次元は64であるが，本実験 1◎◎◎等分した区間についての頻度である。各変換にっい では0函数も含んでおり，実際は63次元である。 て，変換ベクトル系の要素の数ほど，グラフを示す。こ
4．Karhunen−L硬ve変換 こで用いたサンプルパターンのクラスの分布は線形分離 各クラスの平均パターンを一をつけて表わす。たと 可能である。付録から明らかに，Hadamard変換， Haar えば，クラスAの平均パターンを百で表わす。64次 変換，Fourier変換による特徴抽出で得られた64次元の 元ベクトルである8つのパターン｛Zb，ζ砿亘 特徴ベクトルから，8つのクラスに分けることが可能で 万島口の共分散行列を求め，その固有ベクトルを ある。しかし，その中から，有効な座標軸を決定するの 計算し，それを変換ベクトル系とする。この共分散 は簡単ではない。64個の座標軸について，特徴ベクトル 行列は64×64の行列である。特徴空間の次元は64で におけるクラスの分布を調べ，有効な座標軸を選ぶ必要 ある。 がある。
5．相関変換 Karhune含Loξve変換による特徴抽出結果を図一2に 各クラスの基本パターンを変換ベクトル系とする。 示す。変換ベクトル系の変換ベクトルに番号を付け，そ 特徴ベクトルの次元は8である。さらに，基本パター れを特徴ベクトルの座標軸と呼ぶ。（図ではindexと書 ン∫と9の差のパターンを変換ベクトル系に追加す く。）固有ベクトルの対応する固有値の大きい順に座標 ると，特徴ベクトルの次元は9となる。 軸の番号を付けておく。座標軸が1から8までの変換べ 注3）sin（x＋y）， cos（x＋y）を意味する。 クトル（ここでは固有ベクトル）とサンプルパターンの 相関の値の分布を示している。座標軸が9以上のものに 実験結果
ついては全パターンと各クラスごとの分布が同じ形（正 Hadamard変換， Haar変換， Fourier変換による特 規分布と類似した形）であったので，省略した。座標軸 徴抽出を付録一1，付録一2，付録一3に示す。それぞれのグ が9以上のものについては，サンプルパターンの雑音成 ラフは変換ベクトル系のひとつの要素である変換ベクト 分を示しているものと思われる。酔2は，各座標軸にっ ルとサンプルパターンとの相関をとり，その値をグラフ いて，一番上に全パターンの分布を示し，その下に各ク
羅：典．：㎞▲1屹∴螂．．ム．セム人、仏ム，1熱、
託L．1］。：L、：し一．」．］し一∴しL＿，！L▲，
・誼一∴］c、IL』、：L焦．1」．』L』． IL，▲』．
・ilしA＿． LL、1［41し一．」LL j］、1L，ユ」．
・ll］∴L4． L＿1］、 L一．L嬉．1」， L▲
託L．IL． IL』、5LL．1」．1し』． L〈， L撫、
竃し一灘．IL． L4． IL＋、ユL．▲＿．已＿，し』．
・i：L．ILL．：L．1」．．L．1し㌔1し』，ユし一．
ギし一、L4、 L一．，IL、1しL欝．ユ「ノぷ：」，ユレ、＿．
ユn〈1exエ± エndex：2 ユndex：3 index二4 1ndex 25 ユndex二6 1ndexニフ ユnd磯x：8
図一2 Ka遠unen・泌≡ve変換による特徴抽出結果
ii：㎞也Aユム。1嚥．冨嶋．1蟻．
i：］＿．LL：L。 L4：L．
°iL▲． L⊥：L』∴LL． ILL．
・i＃ k＿ぷL冨］LL．］一＿
・i3 ・1＄ k一〆しL LLLLヨL kンし＿L一ピLL一
剴」＿LL L人一LLL⊥
°iILL． IL』、：LL． IL一． ILL．
エndexこ1 index：2 1ndex：3 ⊥ndex：4 1ndex：5
図一3−a・ 相関変換による特徴抽出結果
il遮一幽ム∴屹∴△ろ晶変換｝、よる特徴抽出結果を図3に示す．麟1
1：し一∴一．：L一：］L。 ｝ま基本パターン・を変換ベクトルとして用・・たものであ
：L▲．：」1L；LL．㌶罵∵：：㌶の；；㌶㍊㍉7：
・ξ：L』＿L−．L。 LL。番目の座標軸として基本パターンfと、の差のパター
・㍊＿LL L一LL 纏換ベクトルとした・座標軸1から8までのグラフ
・i：：〔三：：IIL㌶：1〔こ：1〔一㌧：： ㍑㌶：㌫㍗竺露1：灘議
・iL人L人LL 3L一 9のグラフを見れば・クラスFとGの艦が可§旨なこと
・1：L三：：1已：1〔こ1に： 麟、二㌻あ繁竺；雪㌻1駕㌫
設止＿し＿LL 3］L クトル剰・追加すればよい・
1ndex：6 1ndex：7 エndex：8 index：9
あとがき
図一3−b欄変劇二よる特徴抽出結果 相関変換と楡の変換による特徴蜘をシミュレー
ション実験によって比較した。Hadamard変換， Haar ラスごとの分布を示す。各クラスは上から順に，クラス 変換，Fourier変換によるものでは，特徴ベクトルの有効 A，クラスB，クラスC，クラスD，クラスE，クラス な座標軸を探すのが困難であるが，Karhunen−Lo厄ve変 F，クラスG，クラスHである。ある二つのクラスを分 換，相関変換では，有効な座標軸を探す，あるいは作る 離するのに有効な座標軸を決定するには，その二つのク ことは簡単である。相関変換より，Karhunen−Lo百ve ラスの分布が完全に分離しているもの（オーバーラップ 変換による方が，より少ない座標軸でパターンクラスを していないもの）を見つければよい。たとえば，クラス 分離できるが，Karhunen−Lo厄ve変換は共分散行列の固 AとDを分離するには座標軸1を用いればよい。また， 有ベクトルを計算する必要がある。一方，相関変換では，
座標軸1と2を用いれば全部のクラスが分離できるであ 対象としているパターンクラスの平均パターン，あるい
はそれらの差が得られれば良く，それらを変換ベクトル 参考文献
系として変換を行い特徴抽出が行われる。ゆえに，相関 1）上坂吉員ザパターン認識と学習の理論総合図書変換による特徴抽出の胡蹴められる・ ㍑蒜㌶劉篇㌶雲蕊翼莫㌶㌫
以上述べてきたことは，対象パターンのクラスの分布 （工学）第40号，昭和55年，
が線形分離可能なものについてであり，今後は，線形分 4）しシュワルツ著・吉田他訳「物理数学の方法」岩波書店・
5）吉田耕作他著「位相解析の基礎」岩波書店．
離不能なものについての研究が残されており，相関変換 に非線形性をもたせて調べてみたい。
最後に，日頃御指導いただく加藤清史教授に深謝する。
i±．1幽、：嶋ニム．1△．逃鷲：遮，。し△、
Lン鼠こ蝸、8㎞∧ムソ医：し散一望ム1レ転一［△㌧
ユ±．1幽．二L△：レ曇．，し△。．し＆1 已㌦．：レム、
L△＿L△一巨己Lム』辿亙璃し蛛LL△一 し邑㌧
竺A8しA 1△し△．ニレ㌦L△＿しへ L△＿
彦レ恨 レk L△』レ獣＿LへL乞し△＿ し性一 人 1△∴し±≡1レ鷲ユ噂㌧1レエ、し鷲し鷲。レ燃、
し魎へしへ．躍輪一し△．L△＿L△一：レ㌦、：㎏△L
付録一1 Hadamard変換による特徴抽出結果
（全パターン）1△．1ム．1蟻，1［∠鷲，」し工，：レ㌧、上△㌧，Lへ
：臥，燃㌧二慮、1△、▲し斑、し㌧、．レ㌦，レ㌧
1眠，1レ燃。し査．し庶レ㌧し棋LムごLムー
ユ屹．1レ▲．1幽、1太、ニレ㌦1し真．し△已。上△
：幽L塾恨ピ眠レ性8LムL遺＿オレ㌦レk
レ熟． △．1眠．レ旦 レ㌦ぶし趣ごレ1㌦L理㌧1
付録一2 Haaオ変換による特徴抽出結果
（全パターン）
健枇ご［▲．レ㌧『 e［△』L△ご t△
ふ コハア し
