多変量解析 2017 Aセメ Kengo Kato

2018.1.15

出題：加藤賢悟

多変量解析 レポート問題

•

提出期限：

1/22

の講義のとき．事前にメールで送るのも可．

•

注意：レポート用紙は

A4

用紙の片面のみを使用し、

1

枚目には氏名，所属，学年，学

籍番号，

e-mail

アドレスを記載すること．タイプ打ちでも手書きでも読めればよい．

問題

1.

線形回帰モデル

yi

=

x

′_i

|{z}

1×p

β

0

|{z}

p×1

+

εi

, i

= 1

, . . . , n

を考える．ただし，

p

は固定されているとする．いま，

xi, i

= 1

, . . . , n

は非確率的で あって，

n

_{→ ∞}

のとき，

1

n

n

∑

i=1

xix

′_i

_→

A

(

正定値行列

)

max

1≤

_√

i≤n

∥

xi

∥

2

n

→

0

とする．また，

εi, i

= 1

,

2

, . . .

は

i.i.d.

であって，

E

[

εi

] = 0

, E

[

ε

2

i

] =

σ

2

∈

(0

,

_∞

)

とす る．ここで，

xi, i

= 1

, . . . , n

は

n

に依存してもよいが，

εi

の共通分布は

n

に依存しな いと仮定する．このとき，

β

0の

OLS

推定量

β

b

に対して，

n

→ ∞

のとき，

√

n

(

β

b

₋

β

0

)

d

→

N

(0

, σ

2

A

−1

)

となることを示せ．

ヒント：もちろん

Cramer-Wold device

と

Lindeberg

の

CLT

を使う．

Lindeberg

条件 をちゃんと確認するのが問題である．

2.

y

_̸

= 0

, λ >

0

に対して，最小化問題

min

β∈R

[

(

y

₋

β

)

2

+

λ

_|

β

_|

]

の最適解が，

β

∗

=

y

(

1

₋

λ

2

_|

y

_|

)

+

で与えられることを示せ．ここで，

(

a

)

+

= max

{

a,

0

}

である．

3.

B

d

2

=

{

x

∈

R

d

:

∥

x

∥

2

≤

1

}

とし，

N

(

B

d2

, ε

)

を

B

2dの

(

ユークリッド距離に関する

)

ε

カ

バリングナンバーとする．このとき，

(

1

ε

)

d

≤

N

(

B

d2

, ε

)

≤

(

1 +

2

ε

)

d

を示せ．

4.

K

を

R

dの凸多面集合とし，

x

_∈

R

dに対して

F

(

x

) = (

F

1

(

x

)

, . . . , F

d

(

x

))

′を

x

の

K

へ

の射影とする：

∥

x

₋

F

(

x

)

_∥

2

= min

y∈K

∥

x

−

y

∥

2

.

このとき，

d

∑

j=1

∂Fj

(

x

)

∂x

j

= (

F

(

x

)

を相対内点として含む

K

の面の次元

)

a.e.

を示せ．

この問題が難しい場合は，

K

が半空間の場合を考察すれば十分である．

5.

X

= (

x

_e

1

, . . . ,

xp

e

)

を

n

×

p

のデザイン行列とし，各

j

= 1

, . . . , p

に対して

∥

xj

e

∥

2_n,2

=

n

−1

e

x

′_j

xj

_e

= 1

とする．

1

_≤

s

_≤

p

に対して，

s

スパース最小固有値は，

φ

min

(

s

) =

min

δ∈Rp_{,1≤∥δ∥0≤s}

∥

Xδ

_∥

2

n,2

∥

δ

_∥

2 2

と定義されるのであった．

(a)

φ

min

(

s

)

≥

φ

1

>

0

とする．このとき，

2

≤

s

≤

p

に対して，

∥

Xδ

_∥

2n,2

≥

φ

2 1

∥

δ

∥

2 2

−

∥

δ

_∥

2 1

s

₋

1

∀

δ

∈

R

p

を示せ．

参考：

Lecu´e and Mendelson (“Sparse recovery under weak moment assumptions”,

arXiv:1401.2188)

の

Lemma 2.7.

(b)

所与の

c

0

>

0

に対して，制限固有値

κ

(

s, c

0

)

は

κ

(

s, c

0

) =

min

J0⊂{1,...,p}

1≤|J0|≤s

min

δ∈Rp_,δ̸=0

∥δJ c0∥1≤c0∥δJ0∥1

√

s

_∥

Xδ

_∥

n,2

∥

δJ

0

∥

1

と定義されるのであった．

(a)

の結果を使って，

φ

min

(

s

)

≥

φ

1

>

0

なら，

s

1

≤

(

s

₋

1)

φ

2

1

/

(2(1 +

c

0

)

2

)

に対して，

κ

(

s

1

, c

0

)

≥

φ

1

/

√

2

が成り立つことを示せ．