多項分布と Pearson のカイ 2 乗統計量と多次元正規分布

A_n−1 = 2π^n/2 Γ(n/2)

が成立することも示されたことになる. これは第9.9節での計算結果と一致している.

9.3 ^{多項分布と} Pearson ^のカイ 2 乗統計量と多次元正規分布

K = (K₁, . . . , K_r) は多項分布に従う離散型ベクトル値確率変数であるとする. すなわ ち, pi >0, ∑r

i=1pi = 1 であるとし, 実数k1, . . . , kr に対して, K = (k1, . . . , kr) となる確 率は,k_i がすべて非負の整数で ∑_r

i=1k_i =n のとき P(K = (k1, . . . , kr)) = n!

k₁!· · ·k_r!p^k₁¹· · ·p^k_r^r であり,それ以外のとき 0 であるとする.

例9.3 (サイコロ). 1 から 6までの目が同じ確率で出るサイコロを n 回ふったときにi の 目が出た回数を K_i と表わすと, K = (K₁, . . . , K₆) はr = 6, p_i = 1/6 の多項分布にした がう. 一般の多項分布も同様に理解できる⁵⁸.

確率の総和が 1になることは多項定理

∑

k1+···+kr=m

m!

k₁!· · ·k_r!x^k₁¹· · ·x^k_r^r = (x₁+· · ·+x_r)^m

を使えば確認できる. 多項定理は二項定理と同様の考え方で証明される. もしくは二項定 理を用いた m に関する帰納法で証明される.

K_i の平均は µ_i =np_i になる: µ_i =E[K_i] = ∑

k1+···+kr=n

n!

k₁!· · ·k_r!p^k₁¹· · ·p^k_r^rk_i =np_i(p₁+· · ·+p_r)ⁿ⁻¹ =np_i. 3つ目の等号で多項定理を使った.

K_i の分散は σ_i² =np_i(1−p_i) になる:

E[K_i(K_i −1)] = ∑

k1+···+kr=n

n!

k₁!· · ·k_r!p^k₁¹· · ·p^k_r^rk_i(k_i −1)

=n(n−1)p²_i(p₁+· · ·+p_r)ⁿ⁻² =n(n−1)p²_i, σ²_i =E[K_i²]−µ²_i =E[K_i(K_i−1)] +µ_i−µ²_i

=n(n−1)p²_i +np_i−n²p²_i =np_i(1−p_i).

2つ目の等号で多項定理を使った.

58確率変数の話はサイコロをふる話だと思っていると理解し易いと思う. 確率変数はプログラミングにお ける「乱数」のことだと思ってもよい. 様々な分布を持つ確率変数を考えることは様々な「乱数」を考える ことと同じだと思ってよい.

i̸=j のとき Ki と Kj の共分散は σij =σji=−npipj になる: σ_ij =E[K_iK_j]−µ_iµ_j = ∑

k1+···+kr=n

n!

k₁!· · ·k_r!p^k₁¹· · ·p^k_r^rk_ik_j−µ_iµ_j

=n(n−1)pipj−n²pipj =−npipj. 3つ目の等号で多項定理を使った.

したがってベクトル値確率変数 X = (X₁, . . . , X_r)を X_i = K_i−np_i

√np_i と定めると, X_i の平均は0 になり, 分散は

p_ii = np_i(1−p_i)

np_i = 1−p_i = 1−√ p_i√

p_i になり,i̸=j のとき X_i と X_j の共分散は

p_ij =p_ji = −np_ip_j n√

p_i√p_j =−√ p_i√p_j になる. すなわち X = (X₁, . . . , X_r) の分散共分散行列 P = [p_ij]は

P =E+aa^T, a=





√p₁ ...

√p_r





の形になる. ここで E は単位行列であり, a^T は列ベクトル a の転置である. ∑_r

i=1p_i = 1 より,a は単位ベクトルになる. 列ベクトル v ∈R^r に対して,

P v =v− ⟨a, v⟩a

は a の直交補空間への v の直交射影になる(r = 3 の場合の図を描いてみよ). ここで

Euclid内積を⟨ , ⟩ と書いた. P が単位ベクトル a の直交補空間への直交射影を表現する

行列であることから, P² =P となり, P のランクが r−1になることがわかる⁵⁹.

定義9.4 (Pearsonのカイ2乗統計量). 多項分布にしたがう確率変数 K = (K₁, . . . , K_r) から定まる次の確率変数をPearsonのカイ2乗統計量と呼ぶ:

Y =

∑r i=1

X_i² =

∑r i=1

(K_i −np_i)² np_i

これはカイ2乗分布にしたがう確率変数ではない. しかし次の定理が成立している. 定理9.5. Pearsonのカイ2乗統計量はn→ ∞ で自由度r−1のカイ2乗分布にしたがう 確率変数に(弱)収束する⁶⁰.

59この結果はPearsonのカイ2乗統計量がn→ ∞ でカイ2乗分布にしたがう確率変数に(弱)収束する ことを示すためのキーになる.

60この結果はよく使われているPearsonのカイ2乗検定の基礎になっている. このノートにこの節を追加 しようと思った動機は,入門的な統計学の教科書には「nが大きなとき,どうしてPearsonのカイ2乗統計 量をカイ2乗分布で近似してよいのか」に関する説明がないように見えたからである.

9.3. 多項分布とPearsonのカイ2乗統計量と多次元正規分布 53 証明. 多次元版の中心極限定理⁶¹より, X = (X₁, . . . , X_r) は平均 0, 分散共分散行列が P の多次元正規分布に(弱)収束する. したがって, X = (X₁, . . . , X_r) が平均 0, 分散共分散 行列P を持つ多次元正規分布にしたがうとき,

Y =

∑r i=1

X_i²

が自由度 r−1 のカイ2乗分布にしたがうことを示せばよい. そのことを示すためには次 の一般的な補題を示せば十分である.

補題9.6. ベクトル値確率変数 X = (X1, . . . , Xr) が平均 0, 分散共分散行列 P を持つ多 次元正規分布にしたがうとき, P² =P かつP のランクが s ならば, Y =∑_r

i=1X_i² は自 由度s のカイ2乗分布にしたがう.

証明. 一般に分散共分散行列P は実対称行列になる. P² =P ならばP の固有値は0と 1 になり,固有値1の重複度と P のランクは一致する. ゆえにある直交行列U が存在して,

U^TP U =U⁻¹P U = diag(1, . . . ,| {z }1

s

,0, . . . ,0).

P,U の (i, j) 成分をそれぞれ p_ij, u_ij と書き, Z_i =

∑r j=1

u_jiX_j

とおく. このとき, X = (X₁, . . . , X_r) からZ = (Z₁, . . . , Z_r) への変換は直交変換なので Y =

∑r i=1

X_i² =

∑r i=1

Z_i² が成立し, 直交行列 U の取り方より,

E[Z_iZ_l] =

∑r j,k=1

u_jiE[X_jX_k]u_kl=

∑r j,k=1

u_jip_jku_kl=

{1 (1≦i=l ≦s), 0 (その他の場合).

(&) 確率変数を成分に持つ行列まで期待値汎函数 E[ ] を拡張すると以上の計算を以下のよう に書くことができる:

[

Z₁ · · · Z_r ]

= [

X₁ · · · X_r ]

U,

E







 Z₁

... Z_r



[

Z1 · · · Zr

]

=U^TE







 X₁

... X_r



[

X1 · · · Xr

]

U

=U^TP U = diag(1, . . . ,| {z }1

s

,0, . . . ,0).

61多次元版中心極限定理も1次元版中心極限定理と同様の方法で証明される. すなわち特性函数のn→ ∞ が正規分布の特性函数に収束することを示せばよい.

公式(&)より,Z1, . . . , Zs は独立同分布で各々が標準正規分布にしたがい,Zs+1, . . . , Zr

は 0 に台を持つデルタ分布にしたがうこと(確率1 で Z_s+1 = · · ·=Z_r = 0 となること) がわかる. ゆえに定理9.1より

∑r i=1

Z_i² =Z₁²+· · ·+Z_s² (almost sure)

は自由度 s のカイ2乗分布にしたがう. これで示すべきことが示された.

注意9.7 (多次元正規分布). 非負の固有値を持つ r 次の実対称行列 A に対して, R^r 値の 確率変数 X = (X₁, . . . , X_r)が平均 0,分散共分散行列 A の多次元正規分布にしたがうと は, その特性函数が次の形になることであると定義できる:

E[ e^i⟨t,X⟩]

= exp (

−1 2⟨t, At⟩

)

(t∈R^r). (∗)

ここで ⟨, ⟩は R^r の標準Euclid内積である. このスタイルであれば分散共分散行列A が

可逆でなくても多次元正規分布が定義される.

最も極端な場合として A= 0 のときX は(0, . . . ,0)に台を持つデルタ分布にしたがう. σ₁ > 0, . . . , σ_s > 0, A = diag(σ₁², . . . , σ_s²,0, . . . ,0) のとき, X₁, . . . , X_r は独立であり, i = 1, . . . , sに対する X_i は平均 0, 分散 σ²_i の正規分布にしたがい, i= s+ 1, . . . , r に対 するXi は 0 に台を持つデルタ分布にしたがう.

一般の場合は直交変換によってそのような場合に帰着する. 特に任意の非負実対称行列 A を分散共分散行列に持つ多次元正規分布が存在することがわかる.

A が可逆ならば, R^r 上の有界連続函数 f(x) について, E[f(X)] = 1

√det(2πA)

∫

R^r

f(x) exp (

−1

2⟨x, A⁻¹x⟩ )

dx

となる. ここでdx は R^r 上のLebesgue測度である. このとき(∗)が成立することはA を 直交行列で対角化することによって示される.

ドキュメント内 Stirlingの公式 (ページ 51-54)