発表ファイル 数理物理・物性基礎論セミナー abashima1

ン 行列  

情報統計力学的ア ー

東京工業大学  

知能 科学専攻  

樺島祥  

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

ア イン

•  主成分分析  

•   

•  ^{カ法 主成分分析 分析}  

• 

主成分分析

•  高次元 ー ^{次元 縮 代表的統計手法}  

–  ピア ン＆／７．／＇ 

•  次元 ^縮法  

–  国語，数学，理科，社会，英語 ^総合得点 

•  ５次元 ー ^{／次元 縮} 

–  BMI (Body Mass Index): ^{肥満 尺度} 

•  ０次元 ー ^{／次元 縮} 

–  ^{主成分分析} (Principal Component Analysis: PCA) 

•  射影 ^{際 ー 情報損失 軸 探}  

＝射影 際 分散 大 軸 探  

•  N次元 ー ^{K次元 縮}  BMI = Weight (kg)

Height (m)²

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

数学的定式化

ー 行列

!

x

x

x

X =

射影

x

x

_f

f = e ⋅ x = ^e

^x

e

i=1 N

∑

e

₌ e

i 2 i₌₁

N

∑ = 1

数学的定式化

ー 関 射影後 分散

x

x

_f

e

f

= e ⋅ x

= e

x

i=1 N

∑ ₍ ^µ = 1, 2,…, M ₎

e ² ₌ e

i 2 i₌₁

∑

⎛

⎝⎜

⎞

⎠⎟

射影後 情報 く損失 い_→射影後 ー け区別  

→^{射影後 ー 大}→^{射影後 分散 大}

f = e ⋅ x = e ⋅ 1

M

x

µ=₁

∑

⎛

⎝⎜

⎞

＆射影 平均＇

⎠⎟

＆平均 射影＇

V = ¹

M ^f

µ

_{− f}

( )

µ=₁

∑

⁼ _M ^{1 ( e ⋅ x}

^{− e ⋅ x )}

∑

= ¹

M

e _{⋅ x (}

_{− x )}

( )

µ=₁

∑

= e

¹

M

x

_{− x}

( ) ( ^x

^{− x} )

µ=₁

∑

⎛

⎝⎜

⎞

⎠⎟ ^{e ≡ e}

T

_Ce

分散共分散行列

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

数学的定式化

解く 問題

ー 行列

_{X = x}

i

( )

平均ベ

^x _{= x ( )}

_{≡ 1}

M

x

∑

⎛

⎝⎜

⎞

⎠⎟

分散共分散行列

C = C _{( )}

_{≡ 1}

M ^x

µ

_{− x}

(

) ₍ ^x

^{− x}

₎

µ=1

∑

⎛

⎝⎜

⎞

⎠⎟

max

e

Ce

{ } subj. to e

= 1

拘束条件付 大化問題

x

x

_f

e

数学的定式化

ン ュ未定定数法

max

e

Ce

{ } subj. to e

⁼ 1

min

Λ

max

e

e

Ce _{− Λ e (}

_{− 1 )}

{ }

Ce _{= Λe} ( _ΛI

− C : semi-positive definite )

e い 大化条件

Λ : maximum eigenvalue

e : its eigenvector

{

結局， 大固有値問題 帰着さ

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

主成分分析 信用 ＝

•  主成分分析＝ ー 行列 関 ^{分散共分散行列 大}

固有値－固有ベ 求 問題  

–  ^{ー 対 何 結果 返 く}  

•  果 ^{，得 結果 常 ー 規則性 映 い}

う ＝  

主成分分析 意味 あ 結果 く 条件 分析  

必要性

•  因子分析的 ー 生成

–  規則性 表 因子ベ ^{い ー 生成さ い}  

x

x

b

N

n

x

信号強度８

_{P = N}

−1

_b

_σ

2

= N

ⁿ

因子ベ 情報 得  

　 ー 数対次元比８_α=M/N  　信号対雑音比８_P/σ² 

満 関係 ＝

z ^b

N

因子ベ  

ー 規則性 表現

因子 コア＆因子得点＇  

ー 生成 潜 変数

観測 ー

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

統計力学的定式化

•  球状 ピン ^{アン 定義} 

•  基底 ^{ー =  温度 自由 ー}

H u C

_{( )}

u^TCu _u

₍

₎

Z

₍

₎

_∫

₍

_{( ) )}

₍

₎

u

H u C

_{( )}

{ }

2

u^TCu u ² _{= N}

⎧⎨

⎩

⎫⎬

⎭ ^{= − limβ→∞β}

−1log Z

₍

₎

λ

^{= 1}

N ^max

u

Cu u

_{= N}

{ } ⁼

^lim

_N ² _β ^{log Z ( β C )}

分配関数 く 大固有値 表現

u N

球状 ピン

自己平均性 配 平均

•  ^{大固有値　　　 球状 ピン系 関 温度 自由 ー}

密度 

–  ^{，こ 値 ン 定 行列　　 依 確率変数} 

•  自己平均性 

適当 状況 ，典型的 行列 サン 対 自由 ー密

度 大自由度極限 　　 生成 関 期待値＆配 平均＇ 束 ，   

そ う 場合，平均自由 ー密度 

典型的 振 舞い 特徴付け ，  λmax

C

C

Nlim_→∞^Pr

1

N_β ^{log Z β}

(

)

N_β ^{log Z β}

(

)

⎡⎣ ⎤⎦^{C > ε}

⎛

⎝⎜

⎞

⎠⎟ → 0 for ∀ε > 0

1

N_β ^{log Z β}

(

)

⎡⎣ ⎤⎦^C

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

分配関数 自然数

•  残念 ^{，確率変数 対数＆ 一般的 自然数以外 乗＇}

関 期待値評価 技術的 困難 

•  ^{，分配関数 自然数 い 展開公式 い 配 平}

均 評価 可能 場合 あ

Zⁿ

₍

₎

_{( ∫}

₍

_{( ) )}

₍

_{) )}

n

= ^dua

a=1

∏

⎛

⎝⎜

⎞

⎠⎟ ^{exp −β H u}

a C

( )

a=1

∑

⎛

⎝⎜

⎞

∫

⁽

⁾

a=1

∏

⎛

⎝⎜

⎞

⎠⎟

⁽

⁾

こ 公式 指数 _n  自然数 場合 成立 い

カ法

1.  自然数 ^{関 ー ン 評価}  

2.  実数 ^解析接続

1

N_β ^{log Z}

n

₍

₎

⎡⎣ ⎤⎦^C n = 1, 2,…

_{( )}

1

N_β ^{log Z}

n

₍

₎

⎡⎣ ⎤⎦^C n = 1, 2,…

₍

₎

λ

[ ]

^{= lim}

2

N _β ^lim

∂

∂n ^{log Z}

n

₍ β C ₎

⎡⎣ ⎤⎦

得 表現 _n  関 関数形 実数  _n  い 成立 考え 展開公式 使うこ 評価 場合 あ

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

カ法 問題点

1.  自然数 ^{対 ー ン 評価 可能 事実 ，大}

極限 限  

2.  極限 順序 入 ^{え 量 計算 い} φ n,β

_{( )}

N_→∞

1

N_β ^{log Z}

n

₍

₎

⎡⎣ ⎤⎦^C n = 1, 2,…

_{( )}

鞍点法 用い

λ

[ ]

⁼

^lim

^lim

2

N _β

^lim

∂

∂n ^{log Z}

n

₍ β C ₎

⎡⎣ ⎤⎦

≈ lim

n_→+0

∂

∂n

^lim

^lim

2

N _β ^{log Z}

n

₍ β C ₎

⎡⎣ ⎤⎦

^{= 2 lim}

^lim

∂

∂n ^{φ n,β ( )}

本当 や い計算

実際 や 計算 一般 異 _(n い 相転移 あ ₎

ベコベ言 方 い や 手法 比較 結果

計算

•  式 ^分析  

•  個々 ^{対 以 評価}

Zⁿ

₍

₎

⎡⎣ ⎤⎦^{C = duaδ u}

(

)

a=1

∏

⎛

⎝⎜

⎞

∫

⁽

⁾

a=1

∑

⎛

⎝⎜

⎞

⎠⎟

⎡

⎣⎢ ^⎤

⎦⎥

C

n = 1, 2,…

( )

C ^{依 い ココ け}

exp _−β ^{H u}

₍

₎

a₌₁

∑

⎛

⎝⎜

⎞

⎠⎟

⎡

⎣⎢ ^⎤

⎦⎥

C

u

_,u

_,…,u

{ }

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

大 極限

•  自己平均性 ^{期待 α=M/N〜}O(1), M, N→∞  ^考え

z^µ ~ N (0,1), n^µ ~ N 0,

₍

₎ ^{C =}

1

M

XX

_{− xx}

! 1

M

XX

₌ ¹

M

x

_{( )} x

µ=1 M

∑

無視

H u ₍

C _{) = − 1}

2

u

( )

^Cu

^{≈ − 1}

2

u

( )

_M ^{1 x}

( ) ^x

µ=₁

∑

⎛

⎝⎜

⎞

⎠⎟ ^u

a

= ₋ ^N

2M

x

( )

^u

N

⎛

⎝ ⎜

⎜

⎞

⎠ ⎟

⎟

2

µ=₁

∑

^{= − 1} _{2 α} ^⎛ _⎝⎜ ^x

^⋅u _N

^⎞ _⎠⎟

∑

有効ボ ン因子

•  　　　　　　 あ ^{個々 　　　　　　　　 対}  

•  方向余弦 因子ベ ^{重 定義}

u¹_,u²_,…,uⁿ

{ }

z^µ ~ N (0,1), n^µ ~ N 0,

₍

₎

x

_{= z}

^b

N ^{+ n}

µ

u¹ u² u³

y

_≡ ^x

µ

⋅u

N

以 満 正規乱数

y

y

⎡⎣ ⎤⎦

^{= δ}

^σ

^u

a

_⋅u

N ^{≡ δ}

^σ

2

q

m

_≡

b ⋅u

b u

⁼

b ⋅u

P N

exp − β ^{H u} ₍

^C ₎

a=1

∑

⎛

⎝⎜

⎞

⎠⎟

⎡

⎣ ⎢ ^⎤

⎦ ⎥

C

=exp M ₍ × T q _{( { }}

, m _{{ }}

_{) )}

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

サ 鞍点法

•  以 ^{恒等式 利用}

1 = N dq _∫

δ u ₍

⋅u

− Nq

_{) (} a < b = 1, 2,…, n ₎ ,

1 = N P dm _∫

δ b ⋅u ₍

− N Pm

_{) (} a = 1, 2,…, n ₎

Zⁿ

₍

₎

⎡⎣ ⎤⎦C ^{= du}

a_{δ u}a 2

(

)

a=1

∏

⎛

⎝⎜

⎞

∫

⁽

⁾

a=1

∑

⎛

⎝⎜

⎞

⎠⎟

⎡

⎣⎢ ^⎤

⎦⎥

C

= const dq_ab

a<b

∏

⁽

⁾

∏

⁽

⁾

⁽

⁾

∫ ∏

×^{exp M}

₍

₍ { }

{ }

_{) )}

⎧

⎨⎪

⎩⎪

⎫

⎬⎪

a=1 ⎭⎪

∏

∫

= const dq_ab

a<b

∏

^{

⁽

^{( { }}

^{{ }}

^{) )}

⁽

^{( { }}

^{{ }}

^{) ) }}

a=1

∏

∫

= const dq_ab

a<b

∏

{

⁽

^{

^{( { }}

^{{ }}

⁾

^{( { }}

^{{ }}

^{) } )} }

a=1

∏

∫

カ対称性 カ対称仮定

•  解析的 評価式 

•  ^カ対称性 

分配関数 ー ン カ添 _a=1,2,…,n 入 え 対 不変 

•  ^{カ対称仮定} 

支配的 鞍点 カ対称性 満 う 

解 限定 鞍点評価

1

N ^{log Z}

n

_{β C}

( )

⎡⎣ ⎤⎦

^{= extr { αT q ( { }}

^{, m { }}

^{) + S ( { } q}

^{, m { }}

^{) }}

n=1,2,…^{以外 定義 い}

q

= q, m

= m a < b = 1, 2,…, n _{( )}

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

結果

1

N ^{log Z}

n _β

(

)

⎡⎣ ⎤⎦C ^{= extr −}

αⁿ

2 ^{log 1−} σ²

α ^β

⁽

⁾

⎛

⎝⎜

⎞

⎠⎟ ⁻ α

2 ^{log 1−}

n_β

₍

₎

₍

(

)

₎

⎛

⎝⎜ ^⎞

⎠⎟

⎧⎨

⎪

⎩⎪ + ⁿ

2

Qˆ ₋ ^{n n}

⁽

⁾

2 ^{qqˆ − n ˆmm +} n

2^{log 2}

⁽

⁾

2^{log ˆ}

⁽

⁾

2^{log 1−} n ˆq Q + ˆˆ q

⎛

⎝⎜

⎞

⎠⎟ ⁺

n ˆm²

2 ˆ

₍

₎

⎫⎬

⎪

⎭⎪

鞍点 カ対称性 仮定 評価式 実数 _n  い 定義可能 表現   い ！

β 1− q

_{( )}

β⁻¹

₍

₎

λ

^{= 2 lim}

β→∞

^lim

∂

∂n

^lim

1

β ^{N log Z}

n

₍ β ^C ₎

⎡⎣ ⎤⎦

⎛

⎝⎜

⎞

⎠⎟

= _extr ^Pm

2

+ _σ

1 _{− σ}

_χ / _α ^{+ E − F χ − 2Km +}

K

_{+ F}

E

⎧ ⎨

⎩

⎫ ⎬

⎭

2014/12/20

鞍点方程式

•  鞍点条件 E,F,K  消去 ^整理

m

χ ⁼

Pm

1 − σ

χ ^/ α ^,

1 − m

χ

⁼

σ

α

Pm

_{+ σ}

1 − σ

χ ^/ α

( )

m _{= 0, m ≠ 0}

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

０ 解

(A) ^α _{( P /} ^σ

₎

> 1 (B) ^α _{( P /} ^σ

₎

< 1

m _{= ±} ^α

P / _σ

( )

⁻¹

α ₍ ^{P /} σ

₎

^{+ P /} σ

χ ^{= α}

α ^{P +} σ

λ

⁼ σ

^{1 + 1}

α ⁺

P

σ

⁺

σ

α ^P

⎛

⎝⎜

⎞

⎠⎟

⎧

⎨

⎪ ⎪

⎪ ⎪

⎩

⎪ ⎪

⎪ ⎪

m _{= 0}

χ ^{= α}

σ

₍ ^{1 +} α ₎

λ

⁼ σ

^{1 + 1}

α

⎛

⎝⎜

⎞

⎠⎟

2

⎧

⎨

⎪ ⎪

⎪

⎩

⎪ ⎪

⎪

因子ベ 　　 重 有限 

→^{情報抽出 い}

b / N

→^{無意味 結果}

b / N

考察

•  主成分分析 ^{有効性 持 ，次元， ー 数，因子}

ベ 大 さ， イ 強度間 特徴的 関係 得  

–  ^{ー 数  [次元数] x [SN比]‐2　程度必要} 

•  ^{大固有値 ー 数依 性 有効 領域 あ う}

分 可能性  

M

N

P

σ

⎛ ⎝⎜ ^⎞ ⎠⎟

2

∼ ₁

λ

₌ ^{O (1) + O( α}

−1

)

O _{(1) + O( α}

₎

⎧

⎨ ⎪

⎩⎪

有効領域

無効領域

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

α _{= 4,} σ ² _{= 1}

N _{= 64}

N _{= 128}

N _{= 256}

N _{= 512}

◯ +

* x

N _{= 64}

N _{= 128}

N _{= 256}

N _{= 512}

◯ +

* x

有限サイ ー ン

m = N^−1/6g ^N

1/3

₍

₎

⎛

⎝⎜

⎞

⎠⎟ ^示唆

2014/12/20 ^{数物 ー＞ 茶 水女子大学}

•  統計力学 ^{方法 情報科学 問題 有用 例 ，}

主成分分析 分析 紹  

–  D.C. Hoyle and M. RaLray, “Principal‐component‐analysis eigenvalue  spectra from data with symmetry‐breaking structure,” Physical Review  E, Vol. 69, no. 2, 026124 (13pp), 2004 

•  ^{回紹 同様 方法 ，漸近固有値分布 評価}

行うこ  

ρ λ _{( )} ^{= 2}

π

∂

∂ λ ^{Im lim}

1

N ^{log Z λ}

( J )

⎡⎣ ⎤⎦

Z _{( λ} J _{) ≡ du ∫ exp −} ¹

2

u

_λ I

N

− C

( ) ^u

⎛ ⎝⎜ ^⎞ ⎠⎟

•  密行列 関 ^{大固有値問題 ，埋 込 極性 抽}

出さ －さ い， 対応 強磁性－ _SG イ 転移

記述さ  

•  疎行列 関 ^{大固有値問題 ，加え ，固有ベ}

関 局 －非局 転移 生  

　　　　　　第０部 内容

2014/12/20 ^{数物 ー＞ 茶 水女子大学}