本付録Dでは，写像'の逆'!$が存在しない場合，その近似としての一般化逆写像'!$が常に存在 することが説明される．
写像
'&!(" （I1）
に対し，等式
'!+!'""$' （I2）
を満たす写像
+&"(! （I3）
を'の一般化逆写像（generalized inverse）といい，'!$と表す．
［定理D1］（一般化逆写像の存在定理）
写像 '&!("の一般化逆写像'!$は常に存在する．
（証明）文献［A31］の定理1.17（1.5.3項，p.27）である． □
［定理D2］（一般化逆写像の存在定理）
写像 '&!("と，写像
(&!(# （I4）
に対して，
'!&"$'!&%")(!&"$(!&%" （I5）
が満たされるものとする．このとき，等式
)!'"$( （I6）
を満たす写像
)&"(# （I7）
が存在し，
)$(!'!$" （I8）
はその内の1つである．ここに，'!$&"(!は写像'&!("の一般化逆写像である．
（証明）文献［A31］の定理1.19（1.5.3項，p.28）である． □
付録 J （本研究内容の説明再論）
専門家が持っている多数のサンプル入出力&$*!#*'の系列
&$*!#*'!*$$!%!* （J1）
から，入出力関係例の列（補間条件）
!#'#"'!'#$!%!+ （J2）
を満たす 対連想写像（paired-associate mapping） !を決定し，潜在する一般的な知識を，
入力#が与えられたとき，連想出力"#!#の形で推定・抽出すること （J3）
は，人工知能分野において基本的に重要な課題である．本手法で得られる写像!は，入出力&#'!"'' のサンプル系列さえ得られれば，
古典真理関数［A13］，ファジー論理関数［A14］，誤差逆伝播学習ニューラルネット［A15］， ファジー推論型if-then-rule［A14］
などの構造の推定に用いることができる．
本研究の目的は，他の諸研究［A1］〜［A8］，［A11］〜［A14］，［A16］〜［A18］では解決されていな い次の!，"の問題にほぼ完全な解答を，一般の可分なHilbert空間［A9］，［A10］，［A21］!上で与 えることである．本研究では，パターン#の表現として従来の諸研究［A15］，［A19］，［A20］と同 様，!の元を用いる．
例えば，特別な場合として，内積!#!""を，
!#!""#!$&(!*" #!*"""!*"
ここに，"は"の複素共役であり，
$#)次元ユークリツド空間%)の可測部分集合
&(!*"：正値Lebesgue-Stieltjes式測度 （J4）
とする可分な（separable）Hilbert空間!##%!$'&("で考えることができる．#%!のノルム(#(は 無論，(#($)!#!#"と定義される．
!．対連想問題［A1］（paired associate problem），あるいは，補間問題［A17］（interpolation problem）
パターン入力#'%!に対応しそのパターン出力"'%!がもたらされるような入出力関係
"#'#"'%!!'#$!%!+ （J5）
を満たしてはいるが，その構造が判明していない非線形であっても良い作用素"を想定する．この とき，
!#'#"'%!!'#$!%!+（interpolation conditions） （J6）
を満たす "の線形補間近似 としての線形作用素!の構造を決定せよ（入力空間!から出力空間
!への写像"&!*!の近似問題）．
"．逆問題［A2］（inverse problem）
上記の!で求められた補間作用素（interpolating operator）!について
!"!!"!##!#)+,(*-#%!（pseudoinverse condition） （J7）
を満たす !の線形擬逆作用素［A4］（pseudoinverse linear operator） !!（非線形であっても良い作 用素"の擬逆作用素"!の線形近似）の構造を決定せよ（出力空間!から入力空間!への写像"!&
!*!の近似問題）．
###ならば，"!は"!###を満たしている必要はないが，!!は線形として求めるのであるか ら，!!###を満たしていなければならないことに注意しておく． □ 先ず，与えられた高々可算個の入出力関係例の，式（J1）系列（入力#'%!とそれに対応する希 望出力"'%!の例の系列；a sequence of examples of input-output pairs）から，この系列に含まれない 未知入力#%!に対しても最適な出力!#%!を与えるような線形な写像! を推定できるかとい う問題!について考えよう．
式（J5）或いは式（J6）を満たす式（J1）の系列が与えられたとき，
学習（learning）とは，入出力関係が部分的に与えられている写像の近似である という考えで，特に，
$&%$'（'次元ユークリッド空間），#&%$$ （J8）
と設定すれば，入力空間$'から出力空間$$への非線形写像"を復元・近似するという学習問題に ついての解（補間問題の解）を，Radial Basis Functions法［A16］，［A17］が与えているといえる．$' は!の特別なものであり，dummy出力#&&%$'!$をつけ加え，#&%$$の代りに，#&'$'#&!#&&(%$' を想定すれば（例えば，2.3節の例1を参照），本研究内容はRadial Basis Functions法に対応する内容を もたらす．
!$$!
&!$!$&"##& ),-(+. $%! （J9）
と 定 義 さ れ る 線 形 作 用 素!'!)!を 用 意 し て み よ う．!$$&な ら ば，!はK. Kanataniの い う
/$&0&$$!%!*!/#&0&$$!%!*間の一種のcorrelation operatorであり，!$$'ならば，!の定数倍はニュー
ラルネット（cross-correlation associative network）におけるHebbian learning ruleでのsynaptic connection matrix［A18］と称されるものである．
入力パターン$&の列/$&0&$$!%!*が，
!$&!$%"$"&%
ここに，"&%$$ *)&$%!$# *)&&%$ （J10）
を満たす正規直交系（mutually orthonormal system）ならば，上記の式（J9）の!は!についての正確 な解を与えるが，それ以外の場合はそうではない．
次に，式（J1）でいう与えられた高々可算個の入出力関係例の系列から，この系列に含まれない観 測された 出力 #%!に対しても，式（J7）が満たされるという意味で最適な未知 入力 $%! がもたらされるような擬作用素!"を推定できるかという問題"について考えよう．
パターン情報処理分野では，観測された情報劣化パターン全体から原パターンを推定することを パ ターン復元（pattern restoration） といっている［A3］，［A11］．
パターン$%!が"という作用を受けて，#$"$%!が観測されるとしよう．観測作用素と称さ れる"の構造が式（J1）の入出例の系列を介してか判明していないとすれば，式（J6）を満たす "
の線形近似 !を構成し，式（J7）を満たす!"を求めれば，!"は"の（存在するとは限らない）
逆作用素"!$の線形近似と考えられ，観測後のパターン#%!から原パターン$%!が，復元作用 素と称せられる!"を用い，
$$!"# （J11）
と求められ，パターン復元が可能となる．
注意すべきは，!"を線形作用素の範囲で求めることであり，そのためには，!"は，
#$#のとき，!"#$#（零元保存性） （J12）
を満たさなければならないことである．例えば，ある非零定数%について，
#$$%$を満たす!の元$&#$ が存在するとすれば，!#!%"$$# （J13）
を得て，
#$#のとき，!#!%"!$#$#は成り立たない （J14）
から!#!%"の逆作用素!#!%"!$は存在しないことがわかり，!#!%"の擬逆作用素!#!%""を求め ることの重要性がわかる．
今少し，!の擬逆作用素!"について説明してみよう．
,!$,&#!!"$,$,*./(-1$(! （J15）
が成り立つ有限な非負実定数（作用素!のノルム）#!!"が存在するような線形有界作用素（linear bounded operator）!に対しては，!の零空間（null space）と称される部分集合
-0,,!!"'2$(!+!$%#3 （J16）
の直交補空間（orthocomplement）
-0,,!!")'2#(!+!#!$"%#!$(-0,,!!"3 （J17）
を想定し，
!$$%!$*./(-1$(-0,,!!") （J18）
を満たす線形作用素!$については，!の値域
'(-+)!!"'2#(!+*$(!!#%!$3 （J19）
上で!$の逆作用素!$!$が存在することに注目し，
!"%
!$!$ .-'(-+)!!"
# .-'(-+)!!")'2#(
! !+!#!$"%#!$('(-+)!!"3 （J20）
を満たすという意味で，!の一般逆（J16）（generalized inverse）と称される!"を求めることのでき るiteration processも研究されている［A6］．
式（J9）の作用素!の共役作用素!#は，
!##%"
%!#!#%"$$% *./(-1#(! （J21）
と求められるが，もし，この!について，2$%3%%$!%!.が式（J10）を満たし，然も，2#%3%%$!%!.が式
（J10）と同様に，正規直交性
!#%!#%"%"%% （J22）
を満たす系ならば，式（J20）の!$!$は，
!$!$%!# .-'(-+)!!" （J23）
で与えられることに注意しておく．
本論文では，問題!の特別な解である式（J9），問題"の 解 で あ る 式（J20）に 各 々 対 応 し て，
2$%3%%$!%!.!2#%3%%$!%!.が正規直交系とは限らないとし， その正確な表現として，2.1節の定理1の%，
5.2節の定理8の#（あるいは，$）が求められている．つまり，非線形非有界であって良い作用素
"の，等式（J5）を満たす式（J1）でいう入 出 力 例 の 系 列 を 用 い，!%$&で のT. Kohonenの い う
（J. B. Rosenなどの提案する非線形計画法［A6］での） 勾配射影法［A1］（gradient projection method）
を一般化適用して，"を線形補間近似（interpolating linearization）して!を決め，半正値自己共役作 用素!#$!の固有値問題を解決した後，式（J7）を満たす!の一般逆!"が一般的に求められている
（5.2節の定理8（!"!!"$!のスペクトル表現定理）を参照）．線形な作用素"に対しては，式（J1）
でいう十分な入出力例の系列が与えられれば，推定された!は"と一致することが示され（3.2節の 定理3），然もその擬逆作用素!"を求める本提案手法は具体的・構成的であり，そして，可分な一 般抽象Hilbert空間!上で論じられているし，"が非有界であっても良いので，これまでの如何なる 手法よりも，2問題!，"に対しその適用範囲が広いと考えられる．
式（J1）なるパターン系列に対し，補間条件式（J2）を満たすだけならば，このような作用素
!&!-! （J24）
は非線形であっても良いのなら，無数に求められる．
例えば，条件
()$*()!)*)$ " （J25）
の下で，
!($&
)$$
' ,(!(),!%
&
)$$
' ,(!(),!%#%) （J26）
と定義される式（J24）の作用素!がそうである．定理1の!でえられた写像!&!-!は線形なこ とに特に留意して，式（J1）の訓練パターン系列に関する 対連想線形写像（paired-associate linear mapping） ということにしよう．対連想線形写像（対想起線形写像）には，異種想起写像と自己想起 写像とがあることは，2.2節で説明されている．
本研究はもともと，専門家の持つ事例知識を補間近似し得る写像の構造を決定しようという意欲か ら始められた．従来の諸研究と異なるのは，可分な無限次元であってもよいHilbert空間!における 線形補間近似し得る非有界非線形写像（対連想線形写像）を一般的に取り扱っており，しかも同時に，
その擬逆写像を求め得る点である．これらの2点を，可分な一般抽象Hilbert空間!において，同時 に解決し得た研究は存在しない．
訓練例（入出力例）として与えられた式（J1）のデータに，推定すべき写像"を一意的に決定す るのに十分な情報が含まれていてもいなくても，この場合の対連想問題，その擬逆問題について，補 間条件式（J5）を満たすけれども，非線形・非有界であってもよい写像"の線形補間近似!，その 擬逆線形作用素!"の構造を，dummy input-output pairsを付加するという条件の下で，完全に決定し
（定理1，定理8），そのほぼ全面的な解決をみた．
T. Kohonenの著書［A1］では，行列論を駆使し，!が+次元ユークリッド空間%+の場合の定理1
の（"）しか示されていないし（然も，その証明法は擬逆作用素!"の持つ意味を利用した最小自乗
法によるものであり，構成論的な本証明法とは異なるものである），それ以外の7定理2〜8はすべ て本研究で明らかにされたものである．
例えば，非線形な写像"の近似とその擬逆については，
イ）ある固定された2つの写像&$!&%を発見し，例えば，&()!，()#と'))!，))$とを
!の2つの1次独立な系として，
&$(
&&
()#',(,(,!$!&(,&(,!$,!%#&
))#,(,(,!$!&),&),!$,!%(#&(,&(,!$
+/0).4()! （J27）
&%%&
&
))$
')!%"
&
*))'*!%"#') +/0).4 %)())$5%+,%!'),"$6
# /2,*03-1*
"
%%
%$
%%
%#
（J28）
ここに，$は任意の正数とし，
')!%"&
# ..,%!'),%$
$!,%!'),..,%!'),"$
! のとき
のとき （J29）