“対連想問題・その擬逆問題”の一般解
鈴木
昇一
A General Solution of “a Paired Associate Problem and
its Pseudoinverse Problem”
by the Help of a Sequence of Input-Output Pairs
Shoichi Suzuki
あらまし
可分なHilbert空間! において入力とその希望出力との対の高々可算個の系列が与えられた場合， この入出力の関係を誤差なく完全に再現する! から ! への線形な作用素 !：! → ! の構造を決定 しており，対連想問題が一般的に解決されている． また，!の擬逆作用素 !!，並びに，!!"!のスペクトル表現も決定されている． ユークリッド空間"#での従来の対連想問題，Hilbert空間! での有界作用素 !の従来の擬逆作用素 !!の決定問題を特殊な場合として含む問題の一般解を与えており，! での !が完全連続作用素に なるための 2 条件や，!の持つ緒性質が 8 つの定理の形で明らかにされている．例えば， !が特に !："#→"#ならば，T. Kohonenが対連想問題・その擬逆問題を解決しており，これらは本研究成果 のー部に過ぎない．また，!が特に !："#→"ならば，Radial Basis Functions法が対連想問題を解決 しているといえるが，この場合に対応する手法も提供可能である． 本研究で得られた対連想問題・その擬逆問題の一般解を用いれば，画像復元問題，データ同士の適 合問題等の解決が可能になり，更に，専門家の持つ事例知識から潜在する一般的な知識を抽出するこ とが可能になる（知識工学における知識獲得問題が部分的に解決されること）など，その適用分野は 広大である．キーワード
異種連想記憶 勾配射影法 最小自乗近似問題 ムーア・ペンローズ一般逆Abstract
When a sequence of pairs of arbitrary inputs and these desired outputs on an abstract separable Hilbert space! is given, we shall determine a interpolation-structure of a linear operator !: !→! from ! into ! which is capable of representing this input-output relation, and thus a paired associate problem may be solved in a general way. Moreover two spectral representations of a generalized pseudoinverse !!of !and !!"!are presented here.
The traditional paired associate problem in n-dimensional Euclidean space"$and the traditional inverse !!for a bounded linear operator!in a Hilbert space ! are in general solved here. We make clear that two conditions for!to be completely continuous, and properties of !are pointed out in terms of 8 theorems. For example, two facts that T. Kohonen’s method and radial basis functions methods respectively solved a paired associate problen and its pseudoinverse problem when ! is a mapping from "$into"$and when ! is a mapping from"$into"are in particular contained within this general class of interpolation.
The interpolation exact scheme obtained here can at least solve the three problems of image-restoration, fitting other data to another data, and extracting general latent knowledges following experts examples. Therefore the scheme gives a vast application to so-called knowledge-acquisition by artificial learning.
Key Words: heteroassociative memory gradient projection method least squares-approximation problems Moore-Penrose pseudoinverse image restoration apporoximation and learning eigen-value problems radial basis functions method interpolation tasks
1.
まえがき
専門家が持っている多数の（第#番目の）サンプル入出力$##!"#%の系列 $##!"#%!##!!"!& （1.1） から，希望している入出力関係事例の列 !###"#!##!!"!&（補間条件） （1.2） を満たす“対想起写像（paired-associate mapping）”!の構造を決定し，潜在する一般的な知識を， key入力（手探り入力）#が与えられたとき，連想出力 "#!# （1.3） の形で推定・抽出する ことは，マルチメディア（静止画・動画・言語音声・会話音声）環境下でのパターン・言語の認識・ 理解処理，情報検索，人工知能などの諸分野において基本的に重要な課題である．本論文の手法で得 られる写像!は，十分な情報を持っている入出力$##!"#%の，式（1.1）のサンプル系列さえ得られ れば，古典的真理関数［A13］，ファジィ論理関数［A14］，誤差逆伝播学習ニューラルネット［A15］，ファ
ジィ推論型if-then-rule［14］ （1.4）
などの構造を推定することに使用可能である．
第 2 章の定理 1 を特別なヒルベルト（Hilbert）空間!#"$（ $次元ユークリッド空間）で考えれ ば，文献［A26］の研究結果と部分的に一致する本研究は，その明晰さと優美さとによって大部分の
これまでの諸研究に勝るものである．本研究はもともと，専門家の持つ事例知識を補間近似し得る写 像の構造を決定しようという意欲から始められた．本論文は，可分な“無限次元であってよい”ヒル ベルト空間! において線形的に補間近似し得る非有界非線形写像 " を一般的に取り扱っており，し かも同時に，その擬逆写像を求め得る点がこれ迄の研究に勝っている．これらの 2 点を，可分な一般 抽象Hilbert空間! において同時に解決し得た研究は存在しない．
本論文では，!$#&でのT. Kohonenのいう（J. B. Rosenなどの提案する非線形計画法［A6］での） “勾配射影法［A1］（gradient projection method）”を一般的に適用することにより，非有界非線形写像
" を線形的に補間近似して対想起写像 !を決め，半正値自己共役作用素 !"#!の固有値問題を解決 した後，!の一般逆 !!が一般的に求められている（!!，!!#!のスペクトル表現を与えている5.2 節の定理 8 を参照）． 線形な作用素" に対しては，式（1.1）でいう十分な入出力の系列が与えれれば，推定された !は " と一致することが示され（3.2節の定理 3 ），しかもその擬逆作用素 !!を求める本提案手法は具体 的かつ構成的であり，そして，可分な一般抽象Hilbert空間! 上で論じられているし， " が非有界で あってもよいので，これまでの如何なる手法よりも，その適用範囲が広い． 推定すべき非線形対想起写像" として，例えば，付録Bの!で与えられているものを採用しよう． 式（1.1）の訓練事例（入出力事例）として与えられたデータに，推定すべき写像" を一意的に決定 するのに十分な情報が含まれていてもいなくても，この場合の対連想問題，その擬逆問題について， 式（1.2）において!の代りに， " を採用して得られる補間条件を満たすけれども，非線形・非有界 であってもよい写像" の線形補間近似 !，その擬逆線形作用素 !!の構造を，dummmy input-output pairsを付加するという条件の下で，完全に決定し（ 2 定理1，8），そのほぼ全面的な解決を見ている． 例えば，微分方程式の求解法をHilbert空間! の中に 1 つの（特定の，そして任意の）座標系を導 入して初めて得られる無限次元行列で取り扱ったり，Schrodingerの“波動量子力学” をHeisenberg-Born-Jordanの“行列力学”で取り扱ったりする［A27］のと同様な対想起手法は，次のように述べられる： 内積記号!#!""を採用し，行列 "の第&$!%'要素!""$%を !""$%%!#$!#%" （1.5） と定義し，"!を"の逆行列または，一般逆行列とし，対連想写像 !を， !#%! $!%!""$%#!#%!#"#"$ （1.6） と定義すれば，補間条件式（1.2）が成立する． □ “座標系から独立な”取り扱いを採用している本研究内容は，形式上の少なくない利点を伴ってい るのであり，本研究で得られている 8 定理 1 ∼ 8 を上記の行列論で得ようとすれば，不可能ではない が，たとえ数学的厳密さの要求が通常行われている程度まで正当に緩められるとしても，大きな困難 を伴うことが知れるのである．
T. Kohonenの著書［A1］では，行列論を駆使し，! が&次元ユークリッド空間 #&の場合定理 1 の （"）しか示されていないし，しかも，その証明法は擬逆作用素 !!の持つ意味を利用した最小二乗 法によるものであり，構成論的な本証明法とは異なるものである．それ以外の 7 定理 2 ∼ 8 はすべて 本研究で明らかにされたものである． 本理論，本手法の適用分野は広大である．従来の諸研究と関連して，この間の事情を以下の（一）， （二），（三）に簡単に説明しておこう． （一）例えば，K. Kanatani［A12］の 3 次元回転行列はユニタリ行列と制限しないならば（この制
限はなくても，何ら不都合はないものとおもわれる），本手法を用いて誤差なしで決定できる． （二）パターン情報処理分野では，観測された情報劣化パターン全体から原パターンを推定するこ とを，“パターン復元（pattern restoration）”と言っている［A3］，［A11］．パターン#%! が " とい う作用を受けて， "$"#%! （1.7） が観測されるとしよう．観測作用素と称される" の構造が入出力の系列を介して判明していないと すれば，“補間条件式（1.2）を満たす" の線形近似” !を構成し， !#!"#!$! （1.8） を満たす“!の擬逆作用素 !"”を求めれば，!"は" の（存在するとは限らない）逆作用素 "!! の線形近似と考えられ，観測後のパターン"%! から原パターン#%! が，復元作用素と称せられ る!"を用い， #$!"" （1.9） と求められ，パターン復元が可能となる． （三）学習（learning）とは，入出力関係が部分的に与えらている写像" の近似を求めることであ るという考えで， #&%$'!"&%$! （1.10） と設定すれば，入力空間$'から出力空間$!への非線形写像" を復元し，近似するという学習問題 についての解（補間問題の解）を，Radial Sasis Functions法［A16］，［A17］が与えているといえる． $'は! の特別なものであり，dummy出力 "&$%$'!!を付け加え，"&%$!の代りに，
"&%$&"&!"&$'%$' （1.11） を想定すれば（例えば，2.3節の例 1 を参照），本研究はRadial Basis Functions法に対応する内容をもた
らす． □ 尚，本論文で適用されるHilbert空間論の重要な諸概念，諸定理は付録 A で解説されている． 付録 B では， 2 種類の非線形対想起作用素" が提案されている． 付録 C では，2.4.1項の定理 1 が証明されている． 付録 D では，第 3 章の定理 3 ，命題 1 ，定理 S ，定理 4 の系 1 が証明されている． 付録 E では，第 4 章の補助定理 4 ，定理 5 ，定理 5 の系 1 ，系 2 が証明されている． 付録 F では，第 5 章の定理 7 ，定理 8 が証明されている． 付録 G において，定理 5 で登場した自己共役作用素"&"!の近似問題が説明されている． 付録 H では，Moor-Penroseの一般逆行列を近似的に計算できる式が説明されている． 付録 I では，一般化逆写像の存在が説明されている． 付録 J では，本研究内容の説明が再論されている． 付録 K では，式（2.17）の対連想写像!を用いて，axiom 2を満たす類似度関数%# が 3 種類，設 計されている．
2.
対連想問題の一般解
本研究の目的は，他の諸研究［A1］∼［A8］，［A11］∼［A14］．［A16］∼［A18］，では解決されていな い対連想問題［A1］，並びに，その擬逆問題［A2］にほぼ完全な解答を，一般の可分な（separable） 抽象Hilbert空間［A9］，［A10］，［A21］! 上で与えることである。つまり，
（イ）逐次近似法［A2］ （ロ）小出，山下，小川による射影フィルタ法［A11］ （ハ）K. Kanataniによる 3 次元回転行列の推定［A12］ （ニ）月本による論理命題の発見法［A13］ （ホ）菊池，向殿によるファジィ論関数の推定［A14］ （ヘ）鈴木の一般化された誤差逆伝播学習ニューラルネットによる推定［A15］ （ト）Radial Basis Functions法［A16］，［A17］
等に対し適用可能な論を展開するため，本研究では以後，パターン %は可分な一般抽象ヒルベルト空 間! の元とする．理解のためには，例えば，特別な場合として，内積!%!$"を， !%!$""!#')!+" %!+"!$!+" ここに，$は$の複素共役であり， +""+#!+$!)!+*"：*次元実数値直交座標系 # ：*次元ユークリツド空間!+$"%*の可測部分集合 ')!+"：正値Lebesgue-Stieltjes式測度 （2.1） とする可分なHilbert空間! ＝ "$!#!')!+""で考えることができる．%$! のノルム'%'は無論， '%'# !%!%"( と定義される． 以後，付録 A の知識を前提としよう． 本章では，対連想写像!の補間性を構造的に決定し（2.1節），連想の働きへの単純な応用を論じ（2.2 節），exclusive OR真理関数の推定がー応用例として，なされる（2.3節）． 2.1 対連想写像の補間
以後，! を可分なHilbert空間とし，その内積，ノルムを各々! ! "!'!'#%!!!!"&##$と表す．key 入力%($! ，想起出力 $($! の対%%(!$(&の，式（1.1）の系列が与えられたとしょう．式（1.2）の 補間条件を満たす線形写像!を設計できるか否かという問題は，
対連想問題（paired-associate problem）
と い わ れ る［A1］．%($! に似たkey pattern%$! を介し，埋め込まれた内容（embedded pattern） $($! が得られるかという問題である．得られた働きは， %($! が $($! の情報欠損パターンで あれば，自己連想性（autoassociative），そうでなければ，異種想起性（heteroassociative）といわれる が，この両者に対し，解!を求めることを考えよう。いずれにしても，設計できた場合， !は対想 起写像と呼ばれる． 2.1.1 直交系'%((("#!$!)の構成 任意の正整数$に対し各 &(は複素定数として，
! &$$
&
$&#%&$#ならば， *&'2$!%!.3!$&$# （2.2） が成り立つという意味で，“ 1 次独立な（linearly independent）系”
%&!&$$!%!. （2.3）
に対し，直交性
!%4&!%4&"$,%4&,#,%4&,#"&& （2.4） ここに，"&&$$+*&$&!$#+*&$(& （2.5） を満たす系（直交系；orthogonal system）
2%4&3&$$!%!. （2.6） は，Gram-Schmidtの直交化法（Gram-Schmid’s orthogonalization）［A9］，［A10］を適用し，
%4$%%$ （2.7） %4&"$%%&"$!! %$$ & !%&"$!%4%,%4%,!$"#%4%,%4%,!$!&"$'2%!&!.3 （2.8） と求められる．このとき， 2 式（2.7），（2.8）の，%4$!%4&"$のノルムの自乗について，式（2.4）の直 交性から， ,%4$,%$,%$,% （2.9） ,%4&"$,%%,%&"$,%!! %$$ & +!%&"$!%4%,%4%,!$"+%，ここに，&"$'2%!&!.3 （2.10） が成り立っており，しかも，
%4&は %$!%%!.!%&の 1 次結合であり，また， %&は%4$!%4%!.!%4&の 1 次結合である （2.11） ことに注意しておく．
2.1.2 対想起写像 !&の列2!&3&$$!%!. このとき，線形作用素!&の列
!&!&$$!%!. （2.12）
を次のように定義する：任意の%'! に対し，
!$%%!%!%4$,%4$,!$"##$,%4$,!$ （2.13） !&"$%%!&%"!)!&"%!&"$'2%!&!.3 （2.14） ここに，
!)!&"%%!%!%4&"$,%4&"$,!$"#'#&"$!!&%&"$(#,%4&"$,!$ （2.15） □ '次元ユークリッド空間 "'における Hebb学習法則形ニューラルネットにおけるシナプス結合行 列（synaptic connectivity matrix）!を，入出力関係#$!%の実現に関し自己組織化するためには，そ の変分!)!"として，学習効率パラメータ #の導入の下では，
!)!"$$!$!%"###'#!!%(*/0).1$'"' （2.16） を用いればよいことが指摘されていること［A22］は，勾配射影法［A1］，［A6］，［A26］での基本式 を! 上で表現したことに相当する式（2.15）の!)!&"の形式に反映されている，と考えることが出 来よう．
このとき，" を ! のある閉部分空間として， !%%,+
と定義される線形写像!が求める“対連想写像（paired-associate mapping）”であることが，以下の 4 定理1，2，3，4で示される．このとき， 3 式（2.13）∼（2.15）から，明らかに， !*"#%&!#%"! &%# * !)!&"% （2.18） と表されることがわかる。 3式（2.13）∼（2.15）を用いた!#!!*"#，並びに式（2.17）の!の構成法をみて直ちにわかるよう に，これらの 3 作用素!#!!*"#!!は共に，線形であり，然も， %.,(+-!!*"%! *./(-1*+-+0)* （2.19） %.,(+-!!"%"("%%! （2.20） が成り立っている．注意すべきは，式（2.17）の対想起写像!は，その定義からわかるように，その 定 義 域%.,(+-!!"%" が ! で 稠 密 な（こ れ を，付 録 A で は，例 え ば，!に つ い て い え ば， %.,(+-!!"%%! と表している）閉作用素であることであろう． 2.1.3 各対想起写像 !*の積分核表現 例えば，!%!&$"（ ,次元ユークリッド空間$,の複素無限次元化としての数列空間）の場合では， 内積!%!#"は， !%!#"%! )%# ' %)$&) （2.21）
ここに，%)!&)を複素定数とし，&)を&)の複素共役，-をその転置の意とし， %%!%#!%$!+!%)!+"
-#%!&#!&$!+!&)!+"- （2.22） であり，この場合の線形写像!は無限次元行列であり，この場合は， $,での表現［A26］と同様簡 単である．それで，Hilbert空間!%"$!#!'+!.""（関数空間）で考えてみよう。 核関数 (!.!/"&$!."$#!/" （2.23） を導入すると，! の 2 つの元#!$を用いて定義される線形作用素 $##について， &!$##"$%'!."&!%!#"$$!." %"#'+!."(!.!/"$%!." （2.24） という“積分核による表現”が成り立つから， 3 式（2.13），（2.14），（2.17）から， !!*%"!."%" #'+!."%*!.!/"$%!/" （2.25） ここに， %#!.!/"&##!."$%2#!/""" #'+!0"*%2#!0"* $ （2.26） %*!.!/" &%#!.!/""! &%# *!#
&#&"#!."!!!&%&"#"!."'$%2&"#!/"""
#'+!0"*%2&"#!0"*
$ （2.27）
と，積分核表現が成り立つことがわかる。 2.1.4 対想起写像 !の補間性質
下の定理 1 は， 4 式（2.13）∼（2.15），（2.17）で定義された!%"!$の補間性質を指摘したものである が，その証明は，Kohonenの，!$#'での擬逆行列的再帰形式による，（%）の証明手法［A1］と は異なり，一般の可分なHilbert空間! での構成論的手法でなされている。 ［定理 1 ］（対想起写像!の対想起的補間基本定理） 任意の%)*$"%"&"1+について， （!）!+!%"(%"$$%%"$!!%(%"$ （"）!%(%$%% （#）!+!%"($$#!$%$%%" が成立し，よって， !%"$($$!%($!$%$%%" が成り立つ． （$）!%"$($$%$!$%$%%" （%）!%($$%$!$%$%%" が成り立ち，結局， （&）式（2.17）での !&(') %0 (!%について， !($&(') %0 (!%($$%$"$$$"%"&"1! （証明）付録 C を参照． □ 2.2 自己想起場面における雑音除去性 式（1.1）でいう事例，或いは訓練例としての入出力例の系列において，出力 %%は入力 (%と似てい る必要はない．この意味で，定理 1 の（$）で得られた写像 !は，対連想問題における “異種想起 写像（heteroassociative mapping）”である．しかしながら，もし，式（1.1）において， %%$(%"%$$"%"1 （2.28） と設定すれば，定理 1 の（&）から， !(%$(%"%$$"%"1 （2.29） が成立しているから，この!は“自己想起写像（autoassociative mapping）”として得られることにな る． この自己想起の場合は， どの()!)$*%"の情報を持たず，然も， (%のー部分の情報を表すkey入力パターンを与えれば，対 応する添字%を持つパターン (%に似たパターンが想起される ことになろう（3.1節の最小自乗想起定理（定理 2 ）を参照）． 今少し詳細に説明すれば，次のようになる［A1］，［A5］： ')! が.'.$"!$#"を満たし，その方向は ! にわたりー様に分布しているパターンであるとし よう．有限の & 個の対連想 ,(%"(%-"%$$'& （2.30） を実現するように， 3 式（2.13）∼（2.15）を用い，作用素!が設計されている場合では， Hilbert空間! の次元が'の場合，雑音 'の分布の標準偏差 &は &#' / #.(!(%. （2.31）
に近くなり［A1］，
' （実現すべき対連想の個数）"(（パターン空間の次元数） （2.32） であれば，雑音%によって乱されているパターン（corrupting pattern）
&$&&"% （2.33）
をkey入力することにより，$) #になるに従い，埋め込まれていた記憶内容 （embedded memory）&& が想起される．
2.3 exclusive ORの推定
exclusive OR出力をもたらす単純パーセプトロン（ 2 層前進形ニューラルネット）は存在しない事 実が知られており［A23］，誤差逆伝播学習アルゴリズム［A15］を採用した 3 層前進形ニューラルネッ トでexclusive OR出力が得られることが明らかになっている．
2.1.4項の定理 1 を適用することにより，式（2.17）の本対連想写像!&でexclusive OR出力が得られ ること，従って，!&は単純パーセプトロンより識別能力が大である）を，次の例 1 で示そう．尚，radial basis functions法を適用しての，exclusive OR推定問題の 1 解決が文献［A23］でも与えられている．
［例 1 ］（exclusive ORの推定） 内積!&!#"を， !&!#"$' $$$ & +$#,$，ここに， +$!,$は共に，実定数 （2.34） とするHilbert空間!$"&（実 3 次元ユークリッド空間）で考えてみよう．但し，*は転置の意とし て，&!#&"&は，
&$!+$ +% +&"*!#$!,$,% ,&"* （2.35） と表されている． このように， &!#は実ベクトルとして， 3 次の行列"$!)$%"$%$!%%&を用意し， ,$ ,% ,& ! % # " & $$#$"&$ $ # # $ $ $ !% # # ! % # " & $ +$ +% +& ! % # " & $$ +$"+%!%+& +% +% ! % # " & $ （2.36） が判明していないものとし，推定してみよう． 作用素" は線形であると判明しているとすると， &#$!# # #"*のとき， ##$" &#$!# # #"* （2.37） は明らかに成り立つから，入出力例として用いることは冗長である． &$$!$ $ $"*のとき， #$$" &$$!# $ $"* &%$!$ # #"*のとき， #%$" &%$!$ # #"* （2.38） &&$!# $ #"*のとき， #&$" &&$!$ $ $"*
として，
'&&!#&(!&$$!%!& （2.39） を入出例の列として， 3 式（2.13）∼（2.15）から，!$!!%!!&を計算してみよう．
尚，&&'#!$!%!&(について，'&&!#&(における ,$を， +$!+%の関数,$$#!+$!+%"とみると， 式（2.36）から，
#!#!#"$#!$!$"$#
を得， %$は $$!$%のexclusive ORであることがわかる．また， "!$$ $% $&"#$!%$ %%%&"# （2.41） のとき， %$$$$"$%!%$& %%$$% （2.42） %&$$% であり， $$$%$!$%"%$&$%$!%%"%$& $%$%% （2.43） $&$0/*+,-/+*1).0+ となるから，" の逆 "!$は存在しないことに注意しておく． さて， 2 式（2.7），（2.8）に従い，$2$!$2%!$2&を計算してみると， $2$$$$$!$ $ $"#!($2$(%$& $2%$$%!!$%!$2$($2$(!$"#$2$($2$(!$ $!$"&"#!% !$ !$"#!($2 %(%$%"& （2.44）
$2&$$&!!$&!$2$($2$(!$"#$2$($2$(!$ !!$&!$2%($2%(!$"#$2%($2%(!$ $!$"%"#!# $ !$"#!($2 &(%$$"% となる．明らかに，直交式（2.4）が成立していることがわかる． まず，!$$は，式（2.13）から， !$$$!$!$2$($2$(!$"##$($2$(!$ $'!$$"$%"$&""&(#!# $ $"# （2.45） と求められ，次に，式（2.15）から， !&!$"$ $!$!$2%($2%(!$"#'#%!!$$%(($2%(!$
$'!%$$!$%!$&""%(#!$ !$"& !$"&"# （2.46） であるから，!%$は，式（2.14）から，
!%$$!$$"!&!$"$
$!$"%"#!%$$!$%!$& $%"$&$%"$&"# （2.47） と求められる．最後に，式（2.15）から，
!&!%"$
$!$!$2&($2&(!$"#'#&!!%$&(($2&(!$
$!$"%"#!&$%!&$& $%!$&$%!$&"# （2.48） であるから，!&$は，式（2.14）から， !&$$!%$"!&!%"$ $!$$"$%!%$& $%$&"# （2.49） と，計算される． '$%!$"&!! &$$"$ （2.50） が成立していることがわかり，誤差なしで推定されたことがわかる（3.2節の無誤差近似定理（定理 3 ） を参照）． □
2.4 無限次元線形システムのインパルス応答&の推定 さて，上記の例 1 は!##&なる有限次元の場合であるが，これとは異なり，無限次元の場合を簡 単に考えてみよう． 線形システムのインパルス応答&の決定を考えてみよう．内積!#!""を !#!""#" # $ %*#!*"""!*" （2.51） とするHilbert空間!#"%!)#!$"!%*"で論じてみよう．インパルス応答 &!*"は!)!$"次の多項式で 表現されうると想定し， &!*"#! $## )!$ $$"*$ ここに，)!$$"は有限な正整数であり， 各 $$は実定数 （2.52） として， !"#"!*"#" # $ %*&!*!+""#!+" #! $## )!$ $$"" # $ %*!*!+"$"#!+" （2.53） と定義される線形システムを想定しよう． #'!'#$&)は 1 次独立な系であれば， "#'#"'!''*$!%!+!)+ （2.54） を満たす入出力例の有限集合)#'!"'*!''*$!%!+!)+から， &!*"内の)個の実数 $$は，定理 1 の （"）に示されるように， 3 式（2.13）∼（2.15）から一意的に定まる（3.2節の無誤差近似定理（定理3） を参照）．
3.
対連想写像
!の諸性質
本章では，2.1.4項の定理 1 （2.1節）の（!）でいう補間条件を満たす式（2.17）の対連想写像 !の 3性質（ 3 定理2，3，4）が明らかにされる． 3.1 最小自乗想起 任意の#'! から自己想起される内容は，ノルム距離で測って，#から最も近い#%に対応する !#%であることが，次の定理 2 からわかる． パターン集合#'!'#$!%!+!( の張る閉部分空間を， '((!#'!'#$!%!+!(" （3.1） と表すと，特に，定理 2 の系 1 は，key記憶内容の閉部分空間的表現式（3.1）に直交している加法的 雑音 #(を各keyパターン #'から除去して，自己想起可能な事実を指摘している． ［定理 2 ］（最小自乗想起定理） 希望入出力例の有限列 )#'!"'*!'#$!%!+!( ，ここに， "'%#' （3.2）について，考えよう． 任意のkey入力パターン%)! について， 0%!%'0%1 102 （3.3） を満たす%')&))!%$!$$$!%!2!%"を求めれば，式（2.17）の自己想起作用素 !からの出力 !%は， !%$!%' （3.4） と表される． ［定理 2 の系 1 ］（直交加法的雑音の除去定理） ,$)6$!%!2!%7!%$%$"%* （3.5） (*+&)6$!%!2!%7!!%*!$&"$#+ （3.6） であれば， !%$%$ （3.7） （証明）%'は式（3.3）を満たす&))!%$!$$$!%!2!%"の元であるから， 1 次展開 ,%*)!!%$%'"%* （3.8） (*+&)6$!%!2!%7!!%*!$&"$#+ （3.9） が成り立つ［A25］（付録Aの定理A7を参照）．よって，式（2.11）から， !%*$# （3.10） がいえ，式（3.7）の両辺に!を作用させると， !%$!%'"!%* 3 !は線形 $!%' を得，証明が終わった． ［系 1 の証明］2.4.1項の定理 1 の（!）より， !%$!%'$!%$$%$ 3 式（3.2） を得，証明が終わった． □
Hilbert空間! として，&次元ユークリッド空間 #&を採り， 2 式（1.1），（1.2）での入出例の系列 -%$!#$.!$$$!%!2 における %$!#$)#&が 2 値ベクトルと与えられれば，上述の定理 2 の系 1 は， 2値key入力パターン%)#&に対し，Hamming距離に関し，最適な自己想起動作を実行することにな ることに注意しておく． 3.2 無誤差近似 線形作用素"の定義域'31,02!""，値域(,2/-!""とは，各々， '31,02!""%6%)!/0"%0"'7 (,2/-!""%6#)!/,%)'31,02!""!#$"%7 と定義される（付録 A を参照）．
線形作用素"の値域(,2/-!""が有限次元となるとき，"は有限階の作用素（operator of finite rank） であるという．(,2/-!""の次元が&ならば， "の階数は&であるという． ［補助定理 1 ］［A21］ 線形作用素"がたかだか階数&の作用素であるための必要十分条件は，Hilbert空間 ! の中の 2 つ のベクトル系6$$!$7$$$&&!6$$!%7$$$&&によって，"が "%$! $$$ & !%!$$!$"#$$!%.34,25%)! （3.11）
の形に書き表されることである． □ 式（2.2）の成立，つまり，5%%6%$$"%"0は 1 次独立な系を仮定しているから， 4 式（2.13），（2.15）， （2.17），（2.18）からわかるように，5%%$6%$$)'は 1 次独立な系と仮定して， ,%+5'"'"$"'"%"16"$%$!%%%"$ （3.12） が成立していれば， ,%+! ，!-!%"%$#,12*04%&' 2 !%$.%/ *-/!%%$!'% （3.13） を得て，補助定理 1 より，式（2.17）の!は階数'の線形作用素であることがわかる．この事実を考 慮すれば，補助定理 1 を適用して，次の定理 3 が証明され，誤差無しで推定される線形作用素# の 構造が判明したことになる． ［定理 3 ］（無誤差近似定理） %%+'1/*-0!#""%$$"%"1"'を 1 次独立な系とする． %%+'1/*-0!#"に対し， #%%$$%+!"%$$)' （3.14） を満たすような線形作用素# の階数が'であれば，実は， ,%+"(&#$'!#""#%$!'%! （3.15） が成立する． （証明）付録 D を参照． □ 3.3 線形近似の完結性 次の命題 1 は，式（3.18）がなりたてば，定理 1 の（$）の対想起写像 !が有界作用素になり，従っ て， 2 式（2.19），（2.20）は， "(&#$'!!%"$! ,12*04,-0-3+% （3.16） "(&#$'!!"("$! （3.17） と書き直されることを示している． ［命題 1 ］ 任意の%+! に対して， 2 つの不等式 （!）.!$%.%(.$$.#.%7$.!$)#.%. （"）.!-!%"%.'(.$%"$!!%%%"$.#.%7%"$.!$)#.%." %+5$"%"16 が成り立ち，よって， （#）.!&"$%.'(.$$.#.%7$.!$"! %$$ & .$%"$!!%%%"$.#.%7%"$.!$)# .%."&"$+5%"&"16 も成り立つ．従って， （$） .-/ & / *%$$! & .$%"$!!%%%"$.#.%7%"$.!$)#"* （3.18） であれば，式（2.17）の!(.-/ %/ *!%は有界作用素（付録 A を参照）である。 （証明）付録 D を参照． □
任意の)*! に対し，ある(*! が存在して， !)!('"-!)!(" !'- )" （3.19） が成り立つような! の点列-('.に対し， ,"('!"(,- # !'- )" （3.20） が成り立つような有界作用素"は完全連続（completely continuous）であるといわれる．また，作用 素"'の列-"'.が "に一様収束するとは， )(* '- )'!"'!""%# （3.21） となることをいう．ここに，%!."は作用素. のノルムである（付録 A を参照）．完全連続作用素 " について知られている 2 つの補助定理2，3を以下に示す． ［補助定理 2 ］［A21］ Hilbert空間! における有界作用素 "が完全連続であるための必要十分条件は， "が有限階の作用 素列の一様収束の極限となることである。 □ 以下の式（3.22）を完全連続作用素"の標準形と呼ぶ。一般に，線形作用素 #に対し，等式 +)*&,*'(+!#"!!#)!&"%!)!##&"")
がなり立つことで，“&- ##&”と定義される線形作用素 ##を#の共役作用素という（付録 A を参 照）．
［補助定理 3 ］［A21］
Hilbert空間! の任意の完全連続作用素 "は，有限個，または#に収束するような可算個の正の数 からなる数列-'&.&'$と，ある 2 組の正規直交系-(&!$.&'$!-(&!%.&'$によって，作用素列の一様収束の 意味で，スペクトル表現
")%!
&'$'&$!)!(&!$"$(&!% （3.22） の形に表される。この表示式（3.22）は，'$!'%!. が作用素!"#$""$#%の#でないすべての固有値を その重複度に等しい階数だけ表しているという意味で一意的である． □ このとき，補助定理2，3を適用して，定理 1 の（$）の補間性質を持つ式（2.17）の対連想写像 ! が完全連続となるための十分条件，並びに，線形補間の完結性を与える次の定理 4 とその系が成り立 つ． ［定理 4 ］（対連想写像!の完全連続性定理） （!）式（3.18）が成り立ち， （"）どんな正の数 %$#に 対 し て も ， そ れ に 応 じ て ， 適 当 に 正 整 数 $ を と っ て ， 2つの任意の正整数&$!&%!&$&&%"$$ に対し，
! &%&$
&%
,&&"$!!&)&"$,$,)/&"$,!$"% （3.23） が成り立つならば，
（#）定理 1 の（$）の補間性質を持つ式（2.7）の対連想写像 !()(*
&- )!&は完全連続作用素であ り，
（$）ある 2 組の正規直交系-(&!$.&'$!-(&!%.&'$と線形作用素!!#$!"$#%の#でないすべての固有値を その重複度に等しい階数だけ並べて得られた可算個の正の数からなる数列-'&.&'$とにより，
!&%!
%&$$%$!&!%%!$"$%%!% )./(-0&)! （3.24） と表される．ここに， !#'+*, %* (!% # （3.25） は!の共役作用素である． ［定理 4 の系］（線形補間近似の完結性） 入出力関係 " &%%#%!%%$!%!+ （3.26） を満たす “非線形・非有界であっても良い写像”" を線形補間近似して得られる定理 1 の（#）の 補間性質を持つ式（2.7）の対連想写像!'+*, %* (!%を改めて， !&"''+*, %* (!%&"' （3.27） と書くことにすると，本定理の（!），（"）が成り立っている条件の下では，各 #%は複素定数， & は任意の正整数として，! %%$ & #%$&%の全体が! で稠密ならば，
!&!&"''&%!&"'& $'(#&) &)! （3.28）
（証明）付録 D を参照． □
4.
擬逆問題の統一的取扱い
本章では，定理 1 ，（#）の補間性質を持つ式（2.17）の対想起写像 !のMoore-Penrose pseudoinverse !"は， !"%+*, "* #&! #$!""%$"'!$$!# ここに，"は非零実数値であり， "は恒等作用素 （4.1） と表現されること［A7］を利用し（以下の式（4.23）の定義もこの事実を利用したものである），式 （4.1）の右辺内の作用素 &!#$!""%$"'!$$!# （4.2） の持つ諸性質を明らかにしながら， 2 つの作用素 !"$!!!$!"$! （4.3） の性質（4.3節の定理 5 の系 1 ，系 2 ）と，!"の性質（4.4節の定理 6 の!）を導く．尚，この表現 式（4.1）を用いると，!#$!が逆!!#$!"!$を持たない場合にも，!"が確定することが知られてい る．5.3節で考察する例は正にこの場合である． 4.1 pseudoinverse !" 式（2.17）で定義されている作用素!に対し，ある線形作用素 !"が存在して，式（1.8）が成り立 つならば，!"は!の擬逆（pseudoinverse）と言われる［A10］．解 %$が，等式 !%$%# （4.4）を満たす形で存在するならば， !$!!"""%!!$!"""%!$!"$!#$%!#$%" （4.5） を得て，!""も，方程式 !#%" （4.6） の今 1 つの解であることがわかる． 本章では，式（4.4）を満たす!"を，定理 1 ，（!）の補間性質を持つ式（2.7）の対想起写像 !に 関し決定することを考えよう． 4.2 Moore-Penrose pseudoinverse"" Hilbert空間での有界な線形作用素"について， 4 性質 "$%$"%" （4.7） '%$"$%%%'!"$%"#%"$%'!%$""#%%$" （4.8） を満たす%は， "のMoore-Penrose pseudoinverseといわれ［A1］， %%""%!"#$"""$"# （4.9） と表されることが知られている［A4］．特に，"が&次元ユークリッド空間 $&で定義されている行 列の場合，"の列が 1 次独立ならば， !"#$""!$が存在するから， %%""%!"#$""!$$"# （4.10） と表される．"が 1 次独立な列を持つ部分行列とそうでない部分行列に分解され得るならば， ""を 計算できる具体的な算法［A8］も開発されている． 勿論，条件式（4.7）は条件式（1.8）と同一内容であるから，式（4.10）のMoore-Penrose pseudoinverse ""は"の擬逆である． 4.3 対連想写像!の擬逆 !" 定理 1 の（!）の補間性質を持つ式（2.17）の対想起写像 !について考えよう． 先ず，付録 A の定理A3より，!を非零実数値パラメータとすると， !!!$!"#$!!$! （4.11） は自己共役作用素であり，付録 A の定理A4を適用すれば，! 全体で定義された逆作用素 &!!!$!"#$!!$!"#'!$ （4.12） が存在し，然も，式（4.12）の作用素は自己共役作用素であり，任意の非零実数値!について， &!!!$!"#$!!$!"#' は自己共役作用素である （4.13） ことがわかる．よって， &!#$!"!%$#'!$ （4.14） %!!%$&!!!$!"#$!!$!"#'!$ は，任意の非零実数値!について， ! 全体で定義された自己共役作用素である． !"!!" （4.15） &&!!!$!"#$!!!$!""#'!$!!!$!"#$!!$ を用意する．式（4.14）を考慮すれば， 2 式（4.1），（4.15）での!"，!"!!"の間に， !"%)(* !( #! "!!" （4.16）
と い う 関 係 が あ る と い う こ と に 注 意 す る．そ し て，!"!$"は，以下の定理 5 での式（4.23）の !'"!$"から，定理 1 の（$）の証明と同様に証明すれば得られる等式 !"!$"%,+ -'- #!' "!$" （4.17） と求められる． 定理 5 の証明に先立って，次の補助定理 4 を用意しておこう．一般に，集合% の閉苞を %&と表 す（付録 A を参照）． ［補助定理 4 ］ &/-)+.!$"&%! を満たす線形作用素 $について， （!）&/-)+.!$"%&/-)+.!$#$$" （"）.1,,!$"%.1,,!$#$$" （証明）付録 E を参照． □ 上述の補助定理 4 を適用すれば，次の定理 5 が証明され，（#）の， '- ( なる極限としての，系 2は，式（1.8）の成立そのものであることがわかり，定理 1 の（$）の補間性質を持つ式（2.17）の 対想起写像!の擬逆問題が解決されたことになる． ［定理 5 ］（対想起写像!"!'の擬逆・出力復元定理） ')2$"%".3 （4.18） とする．このとき，'- ( でも良いことに注意しておく． $は非零実パラメータとする． "''!'#$!' （4.19） !'!$"'$!$$!' （4.20） "'!$"'$!%$"' （4.21） %!$!$! '"#$!$!$!'"%!'!$"#$!'!$" （4.22） !'"!$"''"'"$%$#(!$$!'# （4.23） %'"'!$""#(!$$!$!$!'"#$$!$ （4.24） %'"'!$""#(!$$!'!$"#$$!$ （4.25） とおく． このとき，次の（!），（"），（#）が成り立つ． （!）+%!%*#")!" ##,'"'!$""#(!$%, &,%, （4.26） が成り立ち，逆作用素'"'!$""#(!$は! 全体で定義されている有界作用素である． （"）（ !'の擬逆定理）+%!%*#")&/-)+.!!'"" !'"!$"$!'% （4.27） - % */0 !'%%*#!$- #" %# */0 !'%%# ! （4.28） （4.29） （#）+%!%*#")&/-)+.!!'"" !'$!'"!$"$!'%- !'%!$- #" ［定理 5 の系 1 ］+%)&/-)+.!!"" !"$!%% % */0!%%*# # */0!%%#! !
［定理 5 の系 2 ］（対想起写像!からの出力復元定理）)&''-+(*,!!"" !#!!#!&$!&! （証明）付録 E を参照． □ 4.2 補間の擬逆 次の定理 6 の（!）は，補間条件式（1.2）を満たす式（2.17）の対想起線形作用素 !の擬逆作用 素!!は，!と逆の入出力関係を持ち， "#%$&%" %$$"%"+ （4.33） を満たす写像"の線形補間近似となることを示している． ［定理 6 ］（補間の擬逆・出力復元定理） 式（1.1）の入出力例の系列について，次の（!），（"）が成り立つ： （!）)%'1$"%"+2"!!#% &% +#%(#$ # #%$# ! のとき のとき （"）（補間の出力復元定理）)%'1$"%"+2"!#!!#!&%$#%# （証明）（!），（"）は各々，定理 5 の系 1 ，系 2 において，&$&%を採用し，定理 1 の（#）を 考慮すれば得られる． □ 定理 1 の（#），並びに，上記の定理 6 の（!）は， 2 つの-.)/(0-/!"!!を用いると，bidirectional associator［B3］と同様な双方向連想の働き［A24］が可能であることを指摘している．
5.
固有値問題の解決による擬逆作用素のスペクトル分解
3.3節での定理 4 によれば， 2 条件（!），（"）の下では，補間条件式（1.2）を満たす式（2.17）の 対連想写像!は，#を除けば，すべて孤立した固有値からなり，しかもこれらの固有値の重複度（固 有空間の次元数）はすべて有限であるという著しい性質［A21］を持つ完全連続作用素であり，補助 定理 3 によれば，!は式（3.22）のようにスペクトル表現されることがわかる．本章では，この事実 に注目し，自己共役作用素#$!"#!の固有値問題を式（1.1）の入出力例の系列を使い解き（5.1節）， 併せて，式（1.8）を満たす!!"!!#!のスペクトル表現を与え（5.2節），これらの理解を容易にす るため， 3 次元ユークリッド空間$&の 1 例を与えよう（5.3節）． 5.1 自己共役作用素#$!"#!の固有値問題 式（2.17）で定義される作用素!，その共役作用素 !"を用いて構成される自己共役作用素 #$!"#! （5.1）は半正値自己共役作用素（semi-positive self-adjoint operator）であり（付録 A の定理A3を参照），この 固有値問題を解こう．4.1節の定理 5 での式（4.19）で導入されている#%$!%"#!%についても，同様 にして解けることを指摘しておく．
固有値方程式
#%&$$&%&&*%&*$$ （5.2） の解である固有値$&は，$&%#である． $&%#に属する固有ベクトル %&は常に，ノルムを*%&*$$
と規格化した形で求めようとしていることに注意しておく． Hilbert空間! は可分と仮定しているから，少なくとも 1 つの，高々可算個の元からなる完全正規 直交系を，Gram-Schmidtの直交化法の適用により作ることが出来る［A9］．それで， 式（2.4）を満たす正規直交系-$/'*$/'*!$.'$$!%!,は， ('! !$!$/'*$/'*!$"$#ならば，*$*$# （5.3） を満たす という意味で，完全（complete）であるとみなされるような，式（1.1）でいう入出力例の系列が与え られていると仮定しよう．この仮定は，文献［A9］，5.1節，定理5.2の証明法を勘案すると，正当化さ れる． 各線形作用素"$を， "$% のとき !$,$$$ !)!$!$",$$%!&!, ! のとき （5.4） とおくと，式（2.17）のは，式（2.18）から， !$" $$$ & "$ （5.5） と表せる． そうすると，以下の 2 式（5.6），（5.7）における*$$*は式（2.10）で計算でき，式（5.1）の半正 値自己共役作用素#の固有値問題の解決を与える次の定理 7 が得られる． ［定理 7 ］（!#%+*, $+ &#$のスペクトル分解定理） 式（5.3）が成立しているとしよう． （!）"$の表現 "$$/$*$/$*!$$ のとき "$*$/$*!$ ,$$$ # ,$$%!&!'!, ! のとき （5.6） と，"$"$の表現 "$"$$/%*$/%*!$$!)!$"$/%*$/%*!$$ のとき ("$"$!!$$$"$)#*$/$"$*!$,%$$"$ # ,%$'$"$ ! のとき （5.7） $$$!%!, とが成り立つ． （"）第 $行第% 列の要素 #$%%!#$/%*$/%*!$!$/$*$/$*!$" （5.8） $!!$/%*$/%*!$!!$/$*$/$*!$" （5.9） $ " %$$ & " &$$ & !"%$/%*$/%*!$!"&$/$*$/$*!$" （5.10） を持つ行列 ##$!#$%"$!%$$!%!, （5.11） の固有値方程式
"%$%,%#,'$%, （5.12） ここに，$%,%%+)!$,$ $,% ," （5.13） ! (%$ ' *$,(*%%$ （5.14） が解けた場合，式（5.1）の"の第 ,番目の固有値 #,は#,'であり，固有値方程式（5.2）のノルム規 格化固有ベクトル$,は次のように求まる．上述の%+)!,"は行ベクトル!,"の列ベクトル化を表す： 例えば，ある -について，
"%$%-!&"%#-$%-!&"! &%$!%!,!*- （5.15） が成立し，同一の固有値#-に属する固有ベクトルが， $%-!&"! &%$!%!,!*- （5.16） というごとく， *-個存在する場合は，$%-!&"!$%-!'"!&%)'"は直交しているとは限らないが，式（5.16） の固有ベクトル系は 1 次独立なので，Gram-Schmidtの直交化法を適用し，式（5.16）の固有ベクトル 系を正規直交系に変換できる．このように直交変換しておけば，固有値#,に属するノルム規格化固 有ベクトル$,が， $,%! (%$ ' $,($&*(+&*(+!$ （5.17） のように求まり，式（5.1）の半正値自己共役作用素"は， "&%! -%$ ' #-$!&!$-"$$- （5.18） とスペクトル表現される．ここに，すべての固有値をその重複度に等しい回数だけ並べるものとすれ ば（3.3節の補助定理 3 を参照）， #,%#,&#!,%)-" （5.19） であっても良い． （証明）付録 F を参照． □ 尚，固有値方程式（5.12）の固有値，固有ベクトルは，数値計算学におけるヤコビ法，パワー法， ハウスホルダ法などで求めることができる． 5.2 擬逆作用素!"と!"$!とのスペクトル表現 半正値自己共役作用素"の定義式（5.1）を考慮すると，式（4.15）から， !"!""%&"""%$#'!$$!# （5.20） がわかり，よって， !"!""$!%&"""%$#'!$$"# （5.21） がわかる．ここで，"のスペクトル表現は式（5.18）で与えられている． 2式（5.20），（5.21）を使い，閉作用素の標準分解（付録 A の定理A8）を適用して，式（4.1）の !"，式（4.3）の!"$!のスペクトル表現を与える次の定理 8 が証明される．この定理 8 においては， 固 有 値 方 程 式（5.2）を 満 た す 式（5.17）の 固 有 ベ ク ト ル$-に 関 し，"$-)#であるような添字% -(($!%!,)に関する総和の意として，総和記号 ! -'が使われている． ［定理 8 ］（!"，!"$!のスペクトル表現定理） 式（5.3）が成り立っているとしよう．
このとき，!"!#"#!!!"#!!!"!#"!!"に関する次のスペクトル表現（!），（"）が成り立つ： （!）!"!#"#!' $' '$$ & '%'"!%'"#%"(#!'!&'"#&' （5.22） !"!#"#!' $' ' ('%'"!%'"#%"(#!'!&'"#&' （5.23） !"#!'%*)+ #) #! "!#"#!' $' ' (!'!&'"#&' （5.24） （"）!"!#"$ $' '$$ & '$"!%'"#%"(#!$!!&'"#&' （5.25） !"$%*)+ #) #! "!#"$ $' ' ('$"%'(#!$!!&'"#&' （5.26） ここに， !&' $$&$#$$'',$'!$" ' %$% & $&%#'$%!!%!$'%(#'',%'!$ （5.27） が成り立つ． ［定理 8 の系 1 ］ # を !により定まる準等距離作用素とすると， !"!#"$ $' ' ('%( "!%' '"#%"(#!$!#&'"#&' （5.28） !"$$*)+ #) #! "!#"$ $' ' ('%( ('!$#!$!#&'"#&' （5.29） と表される． （証明）付録 F を参照． □ 5.3 スペクトル表現の簡単な 1 例 2定理7，8の理解を容易にするため，2.3節の例 1 と同様な 2 設定式（2.34），（2.35）の下で，自己共 役行列 "$ %# % ( # & # % ( # $ ! % % # " & & $ （5.30）
について，""!""$"のスペクトル表現を求めてみよう． 式（5.30）の"は勿論，線形であるから， !%!&%" ∵ 3.2節の定理 3 （5.31） が成り立ち，"は，式（2.14）の対想起作用素 !&，式（2.17）の対想起作用素!に等しくなる． この場合， !#%! （5.32） である． #%##$!%#%% ' # &%( # ( # &%( # & ! % % # " & & $ （5.33） について，正値自己共役作用素#の固有値問題を解けば，
&$%(! %$%$)(!%"(& # $"( "& （5.34） &%%(! %%%$)(!# $ #" （5.35） &&%#! %%%$)(!$"(& # ! %"( "& （5.36） であり，
#%(&%&&%(&!&&+$!%!&," （5.37） !%(&!%('"%$*)&%'!%#*)&%'' （5.38） が成り立つことが知られる．
半正値自己共役作用素#は，式（5.18）を適用して， #)%'
&%$ &
&&$!)!%(&"$%(& （5.39） とスペクトル表現される．式（5.31）の!は，
!% #( ) 式（5.32） （5.40）
であるが，
!%($%'$%($%&%($!'$% &( %&$ （5.41） !%(%%'$%(%%&%(%!'%% &( %&% （5.42） !%(&%'&%(&%&%(&!'&% &( %#& （5.43） の成立もわかる．!)は，
!)%' &%$
&
'&$!)!%(&"$%(& （5.44） とスペクトル表現され， 4 式（5.23）∼（5.26）を適用すると，次の 4 式（5.45）∼（5.48）が成り立 つ： !"!$"$!)%($!("$%"!$$!)!%( $"$%($"($!("$%"!$$!)!%(%"$%(% （5.45） !"$!)%!)!%( $"$%($"!)!%(%"$%(% （5.46） !"!$"%%!("$%"!$$!%!!%($"$%($"!("$%"!$$!%!!%(%"$%(%"$!%$!%!!%(&"$%(& （5.47） !"%%&!$$!%!%($"$%($"&!$$!%!%(%"$%(%"$!%$!%!!%(&"$%(& （5.48） !!#%!%(&"%!%!!%(&"%!%!#%(&"%# ) 式（5.43） （5.49） □
6.
むすび
本研究はもともと，専門家の持つ事例知識を補間近似し得る写像" の構造を決定しようという意 欲から始められた． 例えば，ある固定された 2 つの写像 "#%! → !! "$%! → ! （6.1） を発見し，入出力例の系列 ("###!"$"#)! ###!$!+ （6.2） について，補間条件 !!"###"#"$"#&!"!"$"#"#"###! ###!$!+ （6.3） を満たす線形な写像!!!"を本手法で推定すれば，非線形な写像" の近似とその擬逆 ""について は， "#%!!"##"!"""%!"!"$"" （6.4） と考えられるのである． このように，本手法の適用について問題があるとすれば， （1）推定すべき非線形な写像" に関し，入出力例の，付録 B の系列式（B1）を得ることが可能か 否かということ （2）上述の如き適切な 2 つの写像"#!"$を 発見し得るか否かいうこと の 2 点であり，この 2 点以外にその適用を困難にする事態は存在しない．それ故，第 2 章の（イ）∼（ト） 等に対し適用出来，本手法の適用分野は広大であることがわかる．例えば，K. Kanataniの 3 次元回転 行列はユニタリ行列と制限しないならば（この制限は無くても，何ら不都合はないと思われる），誤 差なしで決定出来る． 任意の#'! から対連想される内容は， 「ノルム距離で測って， #から最も近い#$に対応する "$に最も近い!#であること（定理 2 の，よ り積極的な対想起性）」 （6.5） は残念ながら，証明できなかったが，つまり， 「［最小自乗対想起定理］ key入力パターン#'! について， &+' #)(**#!##* $#$ （6.6） が成立しているならば，実は &+' #)(**!#!"#* $#$ （6.7） が成り立つ」 は残念ながら，証明できなかったが， ##$##%!"#$" ##%!#"#%" （6.8） とおいた場合の，式（1.1）の入出系列についての補間条件式（1.2）を満たす式（2.17）の対想起作 用素!を構成すれば，最小自乗対想起定理は近似的に実現可能であると，思える．最小自乗対想起 定理そのものの実現は，付録 B ，式（B7）の対想起作用素" を使った定理B1でなされている事実を 指摘しておこう．「線形作用素!は ")'$%(!!"$%! なる閉作用素とするならば， !!#"#%! （6.9） が成り立ち（定理A2），よって， !#!$%!## （6.10） *)!%!#)%は%%$で最小値をとり， 0.1 % )!%!#) %%)!$!#)%%)#)%!)!$)% （6.11） が成り立つ」 を適用すれば，次の定理6.1が成り立つ． ［定理6.1］ （6.12） )!%!#&)% を最小ならしめる %は， !#!$ &%!##& （6.13）
を満たす$&で与えられる．そして，実は，定理 1 の（#）から， $&%%&である． □ また， %%#&! のとき，%)%)!$%# （6.14） と約束して， #%% )!"$!%)!$$!"$!% ., !%%'# # ., !%%# ! （6.15） と定義される#%は， 3 文献［A15］，［A19］，［A20］と同様な性質を持つパターン%のモデルとして 採用可能である。 □ 上の定理6.1はパターン認識の数学的理論［A19］，［A20］へ応用出来る． 更に， 3 定理1，6，8を適用すれば，の 2 つの帰納的推論（induction reasoning）の如きものが可能で あることを指摘し，本論文を終えよう． !．肯定式（ 3 段論法（syllogism）の 1 種） （a）interpolation axiom :
(&&8$"%"+9" " %&%#&$ （b）（Modus Ponens）
&420 )1.1376%)1*)5+62,47/+5'(&&8$"%"+9".,%&6-+1#&(".1,+4!%! "．逆肯定式
（a）interpolation axiom :
(&&8$"%"+9" " %&%#&$ （b）（Inverse Modus Ponens）
&420 )1.1376#)1*)5+62,47/+5'(&&8$"%"+9".,%&6-+1#&(".1,+4!"#!
文
献
A
［A 1 ］T. Kohonen :“ 連想記憶−情報工学・心理学のために−”, p.83, p.86, 中谷和夫訳,サイエンス社 (1980-10)
［A 2 ］M. H. Hayes: “Inverse Problems: An Overview”, 計測制御，vol.25, no.12, pp.29-34, Dec.1986 ［A 3 ］Dante C. Youla: “Generalized Image Restoration by the Method of Alternating Orthogonal Projections”,
IEEE Trans. Circuits Syst., vol. CAS-25, no.9, pp.694-702, Sept.1978
［A 4 ］C. A. Desoer and B. H. Whalen: “A Note on Pseudoinverse” J. Soc. Indust. Appl. Math., vol.11, no.2, pp.442-447, June 1963
［A 5 ］G. S. Stiles and Dong-Lih Denq: “On the Effect of Noise on the Moore-Penrose Generalized Inverse Associative Memory”, IEEE Trans. Pattern Anal. Mach. Intell., vol.PAMI-7, no.3, pp.358-360, May 1985
［A 6 ］W. V. Petryshyn: “On Generalized Inverse and on the Uniform Convergence of (I-βK)nwith Application
to Iterative Methods”, J. Math. Anal. Appl., vol.18, pp.417-439, 1967
［A 7 ］Lars Elden: “ A Weighted Pseudoinverse, Generalized Singular Values, and Constrained Least Squares Problems”, BIT, vol.22, pp.487-502, 1982
［A 8 ］B. Rust, W. R. Burrus and C. Schneeberger: “A Simple Algorithm for Computing the Generalized Inverse of a Matrix“, Comun. ACM, vol.9, no.5, pp.381-387, May 1966
［A 9 ］吉田耕作：“近代解析（基礎数学講座20）”，共立出版，Dec.1963
［A10］Angus E. Tayor and David C. Lay: “Introduction to Functional Analysis”, John Wiley Sons, Inc, 1980 ［A11］小出裕司，山下幸彦，小川英光：“信号・画像推定のための射影フィルタ族の統一理論”，電
子情報通信学会論文誌（D-"），vol. J77-D-"，no.7, pp.1293-1301, July 1994
［A12］Kenichi Kanatani: “Analysis of 3-D Rotation Fitting”, IEEE Trans. Pattern Anal. Mach. Intell., vol.PAMI -16, no.5, pp.543-549, May 1994
［A13］月本洋：“数値データからの論理命題の発見”，人工知能学会誌，vol.8, no.6, pp.58-65, Nov.1993 ［A14］菊池浩明，向殿政男：“ファジー論理関数の同定問題−部分関数がファジー論理関数で表さ れるための必要十分条件−”，電子情報通信学会論文誌（D-!），vol.J77-D-!, no.7, pp.465-476, July 1994
［A15］鈴木昇一：“誤差確率分布を考慮した誤差逆伝播学習”，情報研究（文教大学情報学部），no.13, pp.173-202, Dec.1992
［A16］丸山稔：“Radial Basis Functionsを用いた学習ネットワーク−ニューロコンピューティングに対 する新しいアプローチ”，システム／制御／情報，vol.36, no.5, pp.322-329, May 1992
［A17］Tomaso Poggio and Federico Girosi: “Networks for Approximation and Learning”, Proc. IEEE, vol.78, no.9, pp.1481-1497, Sept.1990
［A18］H. Sompolinsky and I. Kanter: “Temporal Association in Asymmetric Neural Networks”, Phys. Rev. Lett., vol.57, no.22, pp.2861-2864, Dec 1986
［A19］鈴木昇一：“パターン認識の数学的理論”，PRL84-6（第 1 部），PRL84-30, PRL84-38, PRL85-27, PRU86-8, PRU86-35, PRU86-69, PRU87-1, PRU87-28, PRU88-30, PRU89-1, PRU89-27, PRU89-40, PRU89-66, PRU89-77, PRU89-136, PRU90-5, PRU90-15, PRU90-29, PRU90-125, 1, PRU91-29, PRU91-42, PRU92-1, PRU92-18, PRU92-25, PRU92-89, PRU92-102（第28部），電子（情報）通
信学会技報［パターン認識と学習，パターン認識と理解］，May 1984∼Jan.1993
［A20］鈴木昇一：“パターンのエントロピーモデル”，電子情報通信学会論文誌（D- !），vol.J77-D-!, no.11, pp.2220-2238, Nov.1994
［A21］千葉克裕：“関数解析（現代数学レクチャーズ B-9）”，p.23, p.188, p.228, p.247, 培風館，June 1990
［A22］James A. Anderson: “ Cognitive and Psychological Computation with Neural Models”, IEEE Trans. Syst. Man. Cybern., vol.SMC-13, no.5, pp.799-815, Oct.1983
［A23］D. S. Broomhead and David Lowe: “Multi-variable Functional Interpolation and Adaptive Networks”, Complex Systems, vol.2, pp.321-355, 1988
［A24］Yeou-Fang Wang, Jose B. Cruz, and James H. Mulligan: “Two Coding Strategies for Bidirectional Associative Memory“, IEEE Trans. Neural Networks, vol.1, no.1, pp.81-92, Mar.1990
［A25］Richard L. Dykstra: “An algorithm for restricted least squares regression”, vol.78, no.384, pp.837-842, Dec.1983
［A26］Wei-Chung Lin and Chen-Kuo Tsao: “Document classification using associative memories”, Journal of Neural Network Computing, vol.1, pp.33-41, Apr.1990
［A27］J. V. ノイマン：“量子力学の数学的基礎”，井上健・広重徹・恒藤敏彦共訳，みすず書房，Dec.1967 ［A28］Duane Pyle: “Generalized inverse computation using the gradient projection method“, Journal of the
Association for Computiong Machinery, vol.11, no.4, pp.422-428, October 1964
［A29］Eric Chen-Kuo Tsao, Wei-Chung Lin, Chin-Tu Chen: “Constraint satisfaction neural networks for image recognition”, Pattern Recognition, vol.26, no.4, pp.553-567, 1993
［A30］三好哲也，市橋秀友，黒田由香：“スプライン関数とフリーネットワーク解法を用いる時間 地図作成法”，電子情報通信学会論文誌D, vol.J82-D, no.8, pp.1299-1304, Aug.1999
［A31］布川ひろし，中山弘隆，谷野哲三：“線形代数と凸解析（現代応用数学講座 8 ）”，コロナ社， May 1996
文
献
B
［B 1 ］鈴木昇一：“認識工学”，柏書房，Feb.1975 ［B 2 ］鈴木昇一：“ニューラルネットの新数理”，近代文芸社，Sept.1996 ［B 3 ］鈴木昇一：“パターン認識問題の数理的一般解決”，近代文芸社，June 1997 ［B 4 ］鈴木昇一：“認識知能情報論の新展開”，近代文芸社，Aug.1998 ［B 6 ］鈴木昇一：“手書き漢字の側抑制効果的分解とその計算機シミュレーション”，情報処理学会 誌，vol.15, no.12, pp.927-934, Dec.1974［B 7 ］鈴木昇一：“画像情報量とその手書き漢字への応用”，画像電子学会誌，vol.4, no.1, pp.4-12, Apr.1975 ［B 8 ］鈴木昇一：“抽出された特徴による手書き漢字構造の再生”，情報処理学会誌，vol.18, no.11, pp.1115-1122, Nov.1977 ［B 9 ］鈴木昇一：“回転群と画像の分解・強調・構造化再構成に関する計算機シミュレーション”， 情報研究（文教大学・情報学部），no.4, pp.36-56, Dec.1983
［B10］鈴木昇一：“連想形記憶N器MEMOTRONと日本語単独母音系列の再生に関する計算機シミュ レーション”，情報研究（文教大学・情報学部），no.7, pp.14-29, Dec.1986 ［B11］鈴木昇一：“多変量解析に基づく大分類関数の決定とその計算機シミュレーション”，情報研 究（文教大学・情報学部），no.10, pp.35-49, Dec.1989 ［B12］鈴木昇一：“帰属係数法に基づく類似度，帰属関係あいまい度，認識情報量の計算機シミュ レーション”，情報研究（文教大学・情報学部），no.11, pp.51-68, Dec.1990 ［B13］鈴木昇一：“構造受精法と日本語単独母音の認識”，情報研究（文教大学・情報学部），no.18, pp.17-51, Dec.1998 ［B14］鈴木昇一，前田英明：“有声破裂音の代表パターンの学習的決定と，その計算機シミュレー ション，情報研究（文教大学・情報学部），no.20, pp.77-95, Dec.1998 ［B15］鈴木昇一，前田英明：“変動エントロピーによる有声破裂音の順序付けと，その計算機シミュ レーション”，情報研究（文教大学・情報学部），no.21, pp.51-78, Mar.1999 ［B16］鈴木昇一：“平均顔を用いた顔画像の 2 値化，並びに，目・鼻・口の抽出と，その計算機シ ミュレーション”，情報研究（文教大学・情報学部），no.22, pp.65-150, Dec.1999 ［B17］鈴木昇一：“界面エネルギーの減少に伴うモデル構成作用素の，顔画像処理に関する計算機 シミュレーション”，情報研究（文教大学・情報学部），no.23, pp.109-182, Mar.2000 ［B18］鈴木昇一：“風景画から知識を抽出し，解釈するシステムの，ファジィ推論ニューラルネッ トによる構成”，情報研究（文教大学・情報学部），no.23, pp.183-265, Mar.2000 ［B19］鈴木昇一：“各個人の感性を反映した認識システムRECOGNITRON”，情報研究（文教大学・ 情報学部），no. 24, pp.185-257, Dec.2000 ［B20］鈴木昇一：“プロダクション・システムとしてのファジィ・マルチメディア・コンピュータ と，空間多重パターンファジィ推論系”，情報研究（文教大学・情報学部），no.24, pp.105-183, Dec.2000 ［B21］鈴木昇一：“SS大分類関数BSCの適応的構成への，計算論的学習理論の適用”，情報研究（文 教大学・情報学部），no.25, pp.185-236, Mar.2001 ［B22］鈴木昇一：“量子力学の諸原理，多段階量子認識系と，心理状態を取り入れた想起に基づく 部分空間認識法”，情報研究（文教大学・情報学部），no.25, pp.237-282, Mar.2001
［B23］鈴木昇一：“Support Vector Machineを利用した大分類関数の構成”，情報研究（文教大学・情 報学部），no.26, pp.1-62, Dec.2001 ［B24］鈴木昇一：“ 2 カテゴリ分類困難度の情報理論”，情報研究（文教大学・情報学部），no.26, pp.63 -160, Dec.2001 ［B25］鈴木昇一：“一般化類似度関数を用いた“導出原理による第1階述語推論””，情報研究（文教 大学・情報学部），no.27, pp.27-71, Mar.2002 ［B26］鈴木昇一，川俣博司，大槻善樹：“風景画の理解に関するJAVA言語によるRECOGNITRONの 計算機シミュレーション”，情報研究（文教大学・情報学部），no.27, pp.73-109, Mar.2002 ［B27］鈴木昇一：“遺伝的アルゴリズムにおける適合度比例選択戦略を利用した進化方程式の，パ ターン多段階変換に基づく認識への応用”，情報研究（文教大学・情報学部），no.28, pp.37-67, Dec.2002 ［B28］鈴木昇一：“近傍を利用した音素認識のためのモデル構成作用素T，類似度関数SM，大分類 関数BSCの諸構成と，SS不動点探索型多段階想起認識”，情報研究（文教大学・情報学部），no.28,
pp. - , Dec.2002 ［B29］鈴木昇一：“JAVA言語で実装化された画像理解システムIUSの動作概要と，その稼動方法”，情 報研究（文教大学・情報学部），no.28, pp.143-165, Dec.2002 ［B30］鈴木昇一，川俣博司，大槻善樹：“JAVA言語による計算機シミュレーションで生じた風景画 像の理解場面での多段階連想形認識過程の異常現象”，情報研究（文教大学・情報学部），no.29, pp.123-166, .2003 ［B31］鈴木昇一：“パターン情報処理（モデル構成作用素，誤差逆伝播学習 2 層ニューラルネット） と，論理的含意とによる非単調的知識推論”，情報研究（文教大学・情報学部），no.29, pp.75-121, .2003 ［B32］鈴木昇一：“可分な一般抽象ヒルベルト空間でのK-L直交系の理論”，情報研究（文教大学・ 情報学部），no.29, pp.41-73, .2003 ［B33］鈴木昇一：“パターン系列（動画像，会話音声）の，dynamical systemによる連想理論と，連 想器SPATEMTRON”，情報研究（文教大学・情報学部），no.30, pp.179-226, Jan. 2004
付
録
付録 A （線形作用素，閉作用素，稠密，閉苞，共役作用素，自己共役作用素，
正値自己共役作用素，閉部分空間，有界作用素，作用素のノルム，逆作用素，
準等距離作用素，直交補空間，零空間，閉作用素の標準分解［A9］
［A10］
）
内積，ノルムを各々! ! "!-#-%(!#!#")$#%とする可分な一般抽象ヒルベルト（Hilbert）空間 を! とする．但し，任意の複素定数 $)#（複素数体）について， !$#%!$"$$#!%!$")#/57*4:%!$)! （A1） とする．一般に， !!$#%"%#$"$$#!%"%#!$ ここに，$!%)#であり，%!$)! （A2） を満たすという意味で，線形な作用素!の定義域&53*14!!"，値域'*40.!!"とは各々，&53*14!!"%;%)!,-!%-"&< （A3） '*40.!!"%;$)!,+%)&53*14!!"!$$!%< （A4） のことである。例えば， !%$%"& /57*4:,5362.9483+.7&!$*#")#*4-*4:%)! と定義される写像!は線形ではないことに注意しておく． 線形作用素!が閉作用素（closed operator）であるとは， ;%'<'$$!%!/(&53*14!!"'213
'. &-%'!%-$#'2'. &13-!%'!$-$# （A5） ならば，
%(&53*14!!"'!%$$ （A6）
がなり立つことをいう．
