次元縮約の問題における逆説的な現象について

(1)

次元縮約の問題における逆説的な現象について

逸見昌之

データ科学研究系准教授

2016年6月17日統計数理研究所オープンハウス

【はじめに】

高次元のデータに対する次元縮約の方法には様々なものがありますが、p次元の共変量ベクトルが与えられた下での1次元の結果変量の条件付き分布（あるいは条件付き期待値）

が、（但しはあるp×d 行列でp > d）というpよりも低次元の変量を通してのみに依存するという仮定の下で定式化された次元縮約の問題は、Li (1991) によって層別逆回帰法（

sliced inverse regression (SIR)）が提案されて以来、統計学の分野で様々な研究が成されてきました。これまで提案されてきた方法の多くは、必要に応じてさらにいくつかの仮定を置きな

がら個々に工夫を施すというものでしたが、近年、Ma and Zhu (2012) はこの問題をセミパラメトリック推定の問題と見なし、その一般論による統一的な方法論の枠組みを提示して、これまでの提案法の多くが、その特別な場合として見なせることを示しました。しかしながら、そこである不思議な現象が起こることが述べられています。それは、これまで多くの方法で付加されていた条件が仮に成り立っていたとしても、それを無視して（用いずに）推定を行った方が、推定効率が良くなる、ということです。この逆説的な現象は、後にMa and Zhu (2013) によって厳密に証明されていますが、ここでは、幾何的な観点からこのような現象が起こるメカニズムについて考察します。なお本研究は、サウスカロライナ大学のYanyuan Ma教授と共同で行ったものです。

【次元縮約の問題】

次元縮約の条件（行列, ）中心化部分空間（central subspace）の列ベクトルで張られる最小の部分空間中心化平均部分空間（central mean subspace）の列ベクトルで張られる最小の部分空間一般性を失うことなく、とし、とする。（但し、はd 次単位行列で、が推定すべきパラメータとなる。）

今回は、中心化部分空間の方について考える。

【推定方程式】

セミパラメトリックモデル

セミパラメトリック推定理論に基づく推定方程式（但し、はからのランダムサンプル）

次元ベクトル値関数, 次元ベクトル値関数, ,

【既存法との関係】

例えば、SIR (Li, 1991) では、 , 行列

特に、（線型条件）を仮定、つまりは既知とする。

【関数

m

が既知の場合と未知の場合】

推定方程式（以下、q=1の場合で考える。）

が未知の場合は、カーネルによるノンパラメトリック推定を行い、をそれぞれが既知の場合、未知の場合の（推定方程式の解としての）の推定量とすると、

（Ma and Zhu, 2013）但し、Avar は漸近分散共分散行列を表し、vecl は行列の下側部分をベクトル化したものを表す。

【シミュレーション】

線型条件が成り立っている下で、

サンプル数200、シミュレーション回数1000 (Ma and Zhu, 2013)

【パラメトリックモデルとプラグイン推定量】

に対するパラメトリックモデル回帰モデル

推定方程式によってパラメータを推定（但し、はランダムサンプルで、は行列）

特に、最適な重み付け最小二乗推定方程式の解をとして、

の推定方程式のプラグイン推定量

【３つの推定量の比較】

但し、

ここで、はに直交し、はに直交する。

【ノンパラメトリック推定】

（を示唆）

【参考文献】

[1] Li, K. C. (1991). Sliced inverse regression for dimension reduction, Journal of the American Statistical Association, 86, 316-342.

[2] Ma, Y. and Zhu, Z. (2012). A semiparametric approach to dimension reduction, Journal of the American Statistical Association, 107, 168-179.

[3] Ma, Y. and Zhu, Z. (2013). Efficiency Loss Caused by Linearity Condition in Dimension Reduction, Biometrika, 100, 371-383.

X

Y

TX

 

X

 ^Y ^ ^y ^X  ^ ^P  ^Y ^ ^y ^β ^X  ^ ^ ^y ^ ^R ^

P | |

^T

β : p  d p  d _S

_Y_|_X

_: _β

 ^Y ^X  ^E  ^Y ^β

^T

^X 

E |  | ^S

_E__Y_|_X_

^: ^β

  ^Cov   ^I

_p

E X  0 , X  



 



 

l

I

d

β : β _I

_d

β

_l

 

₁

 

₂

  ^ ^

₁ ₂

^ ^

,

, y ; ,     y , x    , 

p

_X _Y

x β x β

^T

     ^a ^X ^m  ^β ^X   ⁰

g  

 

  n

i

q j

T i T j i

j i j

Y

1 1

  ^X

_i

^, ^Y

_i

 

ⁿ_i_₁

^p

_X_,_Y

 ^x ^, ^y ^; ^β ^, ^ 

g j

: p

g a

_j

: p

_a

^p

_g

^p

_d

  ^p  ^d  ^d  dim β

_l

  ^E 

j

^{ }

^T

 ^ ^j ^q ^

T

j

β X :  a X | β X  1 ,  ,

m

 

j

   

j j



p



^T

j

Y  D E X | Y , a X  X , X  X

₁

,  , X

g D

_j

:  ^p ^ ^d  ^d ^ ^p

 ^X ^β

^T

^X    ^β ^β

^T

^β ^β

^T

^X

E | 

^¹

^m   ^β ^X  ^a ^{ } ^X ^β ^X  

j

^β

^T

^X 

T j

T

j

:  E |  E X |

    

^a ^X ^m



^β ^X

 

⁰

g  



 n i

T i T i

Yi



^X ^β



1

m ,

β ~ , β ˆ

^m



^X^,^β

 ^β

 

 ^β ^ˆ  ^Avar    ^β ^~ 

Avar vecl  vecl

 ^β ^X ^α   ^a ^{ } ^X ^β ^X 

m

^T

, : E |

^T



^β ^X

 

^a

^{ }

^X ^m



^β ^X ^α

 

⁰

A  



 n

i i

T i

i T

1 ,

^α ^ ^α   ^β X

₁

,  , X

_n



i



T

X

A β

^p^ ^ ^p^a

 

^X ^m



^β ^X ^α



^ε



^ε ^β ^X



⁰



^ε ^β ^X

  

^Q ^β ^X

a  ^T ,  , E | ^T  ,V | ^T : ^T



^β ^X ^α

 

^β ^X

 

^a

^{ }

^X ^m



^β ^X ^α

 

⁰

m_α  





 n

i i

T i

i T i

T

T Q

1

1 ,

,

^α ^ˆ   ^β

β _

_iⁿ_ ^g

    

^a ^X ^^m



^β ^Xi ^α

 

^β

 

^T ^ ⁰

T i

Yi

1 , ˆ

β β 

 

^~ ¹ ₁ ¹

^ ^

^, ^,

^{ }

^, ^,

^ ^

p

^{ }

¹ n

i A i Yi i Yi o

n vecl

n  



   

 u X β v X β

β

 

β^ˆ ¹ ₁ ¹

^

^, ^,

^

p

^{ }

¹ n

i A i Yi o

n vecl

n  



  

 u X β

β β

 

¹ ₁ ¹

^ ^

^, ^,

^{ }

^, ^,

^{ }

^, ^,

^ ^

p

^{ }

¹ n

i A i Yi i Yi i Y o

n vecl

n  



    

 u X β v X β w X β

β β



^X ^Y ^β



^vec

 

^g

 

^Y ^E



^g

 

^Y ^β^T^X

  

^a

 

^X ^E



^a

 

^X ^β^T^X

 

^T



u , , :  |  |



^X ^Y ^β



^vec

 

^E



^g

 

^Y ^β^T^X

  

^a

^{ }

^X ^E



^a

^{ }

^X ^β^T^X

 

^T



v , , : |  |



^X ^β



^B ^B ^A

 

^β ^X



^a

 

^X



^a

 

^X ^β ^X

 

w ,Y, :  ₂ ₃^¹ ^T E | ^T

           

 



^T ^T ^T



A  E a X E a X β X E g Y β X vecl β

 : | |

 

   



^Y



E m X β α β g B₂ : _α , , ₀ 

 

   

_α _α _{ }_β

α X β α β m X β α α

m , , ₀ :  , ,  ^T | _ 0

 

    ^ ^{ } ^



^m ^X ^β ^α ^β ^Q ^β ^X ^m ^X ^β ^α ^β



B₃ : E ^T_α , , ₀ ^¹ ^T _α , , ₀



X ^β



u ,Y, ^v



^X^,^Y^,^β

 

^,^w ^X^,^Y^,^β



^w



^X^,^Y^,^β



^v



^X^,^Y^,^β

 

^^w ^X^,^Y^,^β



C a

b O

(u) v

w

 ^v ^ ^w  ^ ^w

   

 ^v ^w

^T

^v ^w  ^E   ^v

^T

^v

E   

 

 ^β  ^Avar    ^β ^~ 

Avar vecl   vecl

x0

β

β^TX  ^T のとき、として

、

 

β X :



a

^{ }

X |β X



c0

m ^T  E ^T 



^β ^X ^ ^β ^x

 

^β ^X

 ^

^a

^{ }

^X ^^c

^

^ ⁰





 n

i i i

T T

i

T Q

1I 0

1

推定方程式 0

  ^{ }

 

 



 _n 

i

T i

T n

i i

T i

T

I I

1 0

0 β X β x

X a β x

β X c

期待値関数の滑らかさを仮定して

  ^{ }

 

 





 _n 

i

T i

T h n

i i

T i

T h

K K

1 0

0 β X β x

X a β x

β X

c （Nadaraya-Watsonノンパラメトリック

カーネル回帰推定量）

次元縮約の問題における逆説的な現象について