第
1
章 基本的な統計処理
1.1
統計における基本的な概念
1.1.1
統計データとその表現
統計で扱うデータを一般にどう表現するかを示しておく。 統計で扱うデータは、例えばある集団の個々の身長値、体重値などである。 身長 体重 1 168 75 2 170 65 3 156 50 .. . ... ... こういったデータを一般化した書き方として以下では x y 1 x1 y1 2 x2 y2 3 x3 y3 .. . ... ... といった書き方をする。x のようにいろいろなデータ値をとる変数を統計変量と 呼ぶ。こういったデータは数値の集まりであるので量的データを呼ぶことにし よう。 統計で扱うデータの中には、数値で表されないものもある。例えば以下のよう なアンケートデータである。(問１は男女の別を、問２はメールの使用の有無を 問うものである。)問１ 問２ 男 女 使用 少し 不使用 1 1 0 1 0 0 2 1 0 0 1 0 3 0 1 0 0 1 .. . ... ... ... ... ... こうしたデータは質的データと呼び得るものである。以下では主に量的データ を扱う。 統計データを表現するにはデータ値の範囲をいくつかに分けて各範囲にいくつ のデータがあるかを示すとどの範囲にどのぐらいのデータが分布しているのかが 分かりやすい。このようにデータを集計したものを頻度分布表といい、各データ 範囲を階級という。また頻度分布表を棒グラフなどにグラフ表示したものをヒス トグラムという。
1.1.2
基本的な統計量
統計変量からはデータに関する基本的な数値いわゆる統計量が計算される。 平均値 ¯ x = 1 n n ∑ i=1 xi を x の平均 (average, mean) という。これはデータ全体を代表する値とみること ができる。例えば身長の平均値はその集団の背の高さの指標となりうる。そのよ うな統計量は代表値と呼ばれる。 分散と標準偏差 s2x= 1 n n ∑ i=1 (xi− ¯x)2を x の分散 (variance) という。これは、データの散らばり具合を示す値である。 平均値との離れ具合の平均だから、データの散らばり具合の代表値すなわちデー タ全体の散らばり具合を示す指標となるのである。 sx= v u u t 1 n n ∑ i=1 (xi− ¯x)2 を x の標準偏差という。標準偏差は分散のルートをとったものであるから、分散 が平均からの距離の２乗をしている分を相殺してデータの元のスケールに戻した ものであると言える。 標準偏差は以下のような性格づけもできる。 定理 1.1.1 (チェビシュフの不等式). λ > 1 なる任意の λ に対し、 |xi− ¯x| ≥ λsx なる xiの個数はλn2 以下である。 この不等式の意味は、平均値から λsx以上離れるデータは高々λn2 であるとい うのである。だから標準偏差が小さい程データが平均値の周りに集まっているこ とになる。 (証明)|xi− ¯x| > λsxなる xiの個数を m とすると、 ns2x= n ∑ i=1 (xi− ¯x)2≥ ∑ |xi−¯x|≥λsx (xi− ¯x)2≥ mλ2s2x より明らかである。 定理 1.1.2. x, y を統計変量、a, b を定数とするとき、y = ax + b とおくと、 ¯ y = a¯x + b, s2 y = a2s2xとなることを示せ。 (証明) y = a¯¯ x + bを示す。 ¯ y = 1 n n ∑ i=1 axi+ b = 1 n n ∑ i=1 axi+1 n n ∑ i=1 b = a¯x + b
s2 y = a2s2xを示す。 s2y = 1 n n ∑ i=1 (yi− ¯y)2 = 1 n n ∑ i=1 (axi+ b− a¯x − b)2 = 1 n n ∑ i=1 a2(xi− ¯x)2 = a2s2x 標準化と偏差値 xの平均を ¯x、標準偏差を sxとするとき z = x− ¯x s を x の標準化という。単位が分母分子でキャンセルされ、 ¯ z = 0, sz= 1 となる。 SS = 10z + 50 を偏差値という。 SS = 50, sSS = 10 となる。これら z, SS はデータ全体の中での各データの相対的な位置を示すもの で、異なるデータ間での相対位置の比較が可能となる。
1.2
相関関係：対になった２変量の関係
1.2.1
散布図と２変量の相関
集団の個々人の身長と体重のようにペアとなる２変量を座標平面上の点として 表した図を散布図という。サンプルファイル：data1 demo.xls ２変量のデータを表す点が一直線上に集まる程２変量の相関が強いという。た だし、どちらかの変量の分散がゼロの場合を除く。サンプル図1. ２変量には正の相関がある場合 (例：身長と体重) 2. ２変量には負の相関がある場合 (例：入荷量と価格) 3. ２変量には相関はない場合 これらの関係を量的に表す統計量を定義する。
1.2.2
共分散
sxy= 1 n n ∑ i=1 (xi− ¯x)(yi− ¯y)を x, y の共分散 (covariance) という。pi= (xi− ¯x)(yi− ¯y) とおくとき、
1. ２変量の片方が大きいとき (小さい) 他方も大きい (小さい) 傾向が強い程、 多くの piは大きい正の値。下図は平均値 (¯x, ¯y)を中心に散布図座標系を見 た図である。下図で (¯x, ¯y)を中心とした同心円上では、A が piが最も大き い正の値になる部分で、B が少し大きい正の値となる部分である。 (x,y) x y B B B A A B 2. 片方が大きい (小さい) とき片方は小さい (大きい) 傾向が強い程、多くの piは絶対値の大きい負の値。下図でいうと、A が piが最も絶対値の大きい 負の値になる部分で、B が少し絶対値の大きい負の値となる部分である。
(x,y) x y B B B A A B 3. 上２つの場合が混在しているときは、上２つの piが混在している。 共分散は piの平均であるから、 1. ２変量に正の相関が強い程、sxyは大きい正の値 2. ２変量に負の相関が強い程、sxyは絶対値の大きい負の値 3. ２変量の相関が弱い程、sxyは０に近い値 しかし、共分散はデータのスケールに依存する。共分散がどのぐらい大きいと正 の相関が高いのかを一般的に判断することはできない。例えば、共分散が５と いってもどのぐらい強い正の相関かはわからない。また、共分散はデータ点が集 まる直線の傾きの絶対値が１に近い程大きくなるので、単に直線に集まる傾向 (相関) を忠実に表現しているとはいえない。
1.2.3
相関係数
r = sxy sxsy を x, y の相関係数 (correlation coefficient) という。これは共分散を２変量の標準 偏差で割っているので、２変量に固有のスケールの影響を取り去ったものになる ことは容易に想像できよう。また、前掲の共分散の図で B の部分では sx, syのど ちらかが小さく、これで割ることで xi− ¯x, yi− ¯y が小さいことと相殺され、傾 きの影響がなくなることも予想される。実際つぎが証明できる。 |r| ≤ 1 また、|r| = 1 のときは、すべてのデータ点は直線上に並ぶ。 証明：まず共分散は各データの平均値からの差だけが問題だから、データ全体 を平行移動しても変わらない。よって平均は０とする。またデータ数は３とする （一般の場合も同様）。そこで、 x a b c y d e f として、¯x = ¯y = 0としても相関係数は変わらないからこう仮定する。 r2= (ad + be + cf ) 2 (a2+ b2+ c2)(d2+ e2+ f2) ≤ 1 をいえばよい。この不等式を整理すると、
(ae− bd)2+ (bf − ce)2+ (cd− af)2≥ 0
となるから、成立している。また、この不等式が等式として成り立つときは、 d a = e b = f c で、このときはデータ点はすべて (原点を通る) 直線上に並ぶ。ここで、a = 0 で あれば、 d = 0 or b = c = 0 であるので、(a, d) が原点か、データ点が y 軸上に並ぶかである。 さらに相関係数は共分散の性質を受け継ぐから、つぎがいえる。 1. ２変量に正の相関が強い程、r は 1 に近い 2. ２変量に負の相関が強い程、r は−1 に近い 3. ２変量の相関が弱い程、r は０に近い （参考） 相関係数は、ベクトルの内積の知識を使えば、ベクトル X = (x1, . . . , xn), Y = (y1, . . . , yn)
のなす角 θ の cos θ に等しい。 ”相関”という言葉は統計と離れて一般的にも解釈し得るが一般的な”相互に関 係がある”という意味に取り違えてはならない。２変量の間になんらかの強い関 係があっても相関が高いとは限らない。たとえば散布図に放物線が当てはまりそ うな場合は相関係数はむしろ０に近くなるであろう (あるいは正の相関の部分と 負の相関の部分に分けられる)。相関関係はあくまで２変量の直線的な関係の度 合 (散布図に直線が当てはまりそうな度合) を測るものである。 次節の最小２乗直線によって相関における直線的関係の意味がいよいよはっき りするであろう。
1.3
最小２乗法
1.3.1
最小２乗曲線
ここでいう曲線とは、直線もその特別な場合として含むものとする。 ある変量 x, y のデータ (x1, y1), . . . , (xn, yn)に対し、y の x への従属関係をあ る数式 y = f (x) で近似的に表したいとする。このとき x を説明変量、y を目的 変量（被説明変量）という。数式 f (x) は以下の方法（最小２乗法）で決定する ことができる。 1. 数式の形 f (x) を決める：例 f (x) = a + bx, f (x) = axb, f (x) = a + bx + cx2など 2. 数式のパラメータ（b0, . . . , bp、上の例では a, b あるいは a, b, c）を決める ために以下の基準を設ける。 基準：以下の値 S を最小にするようなパラメータを選ぶ： S = n ∑ i=1 (yi− f(xi))2 Sを偏差２乗和という。S の図形的な意味は、データの各点から y = f (x) のグラフまでの y 軸方向にはかった距離の 2 乗の和である。よってこれが 最小ならばある意味で y = f (x) が最もデータにフィットする曲線といえる わけである。下図は y = f (x) が直線の場合を図示したものである。x y y=f(x) 3. 上の基準でパラメータ b0, . . . , bpを求めるには、 ∂S ∂bi = 0 (i = 0, . . . , p) の方程式を解くなどの方法がある。この方程式の解はパラメータの関数 S が極値をとる候補点である。一般にこれらの点において実際に極小値をと るか、また極小値が最小値を与えるかを調べるのは難しい問題である。以 下の線形の場合の説明を参照のこと。 f (x)が一次式（上の例の最初の形）のときは、求められた数式を単回帰式とい う。f (x) が指数関数のときを指数回帰、その他の非線形式 (非１次式のこと) の ときをまとめて非線形回帰ともいう。「回帰 (regression)」という言葉の由来は、 父親の身長と息子の身長の間には直線的関係があるほかに、「身長の高い父親を 持つ息子たちの身長は親程高くなく、身長の低い父親を持つ息子たちの身長は親 程低くないという傾向」があったことから、「息子たちの身長が平均に回帰する」 という意味で用いられたことによる。 同じ１次式を考えるのでも説明変量が複数個の場合も考えられる。すなわち変 量 (x1, . . . , xp, y)のデータ (x11, . . . , xp1, y1), . . . , (xn1, . . . , xpn, yn)があって、y の x1, . . . , xnへの従属関係を１次式 y = b0+ b1x1+· · · + bpxpで近似する場合 である。上と同様に S = n ∑ i=1 (yi− (b0+ b1x1i+ . . . + bpxpi)) 2 を最小にする係数 b0, b1, . . . , bpを求めるために、 ∂S ∂bi = 0 (i = 0, . . . , p) (1) を考えることができる。
この (1) を満たす b0, . . . , bpからなる b0+ b1x1+· · · + bpxpを重回帰式という。 p = 1の場合が単回帰である。 f (x1, . . . , xp)が１次式の場合は最も式として扱いやすい。実際上の (1) の方程 式はパラメータ b0, . . . , bpに関する連立一次方程式 (正規方程式という) に帰着す ることが示され、正規方程式は解を持ちこの解は偏差 2 乗和の最小値を実際に与 えることも示される。「重回帰分析、正規方程式とその解」の項で重回帰の場合 を証明している。 「重回帰分析、正規方程式とその解」の項の方法で求めた単回帰式は、以下の ようになる。 y− ¯y = sxy s2 x (x− ¯x) = rsy sx(x− ¯x) この式で表される回帰直線こそが、x, y の相関 (直線的な関係) を表すものであ る (「R ２乗値 (決定係数) の項」を参照)。
1.3.2
R
２乗値（決定係数）
次の式は、回帰式による推定誤差（２項目の分子）がデータの全変動（２項目 の分母）に占める割合いの低さを表すものである。 R2= 1− n ∑ i=1 (yi− f(xi))2 n ∑ i=1 (yi− ¯y)2 これをもって、近似曲線 y = f (x) のデータに対する当てはまりの良さを表すこ とができる。これを決定係数と呼ぶ。 fが一次式の場合、上の式は、 {∑n i=1 (xi− ¯x)(yi− ¯y) }2 n ∑ i=1 (xi− ¯x)2 n ∑ i=1 (yi− ¯y)2 と変形され相関係数の２乗に等しいことが示されるので、決定係数を R2乗値と も呼ぶ。 上の変形を示すには、前の節で挙げた回帰直線の式 y− ¯y =sxy s2 x x− ¯xを決定係数の式に代入して展開すればよい (演習とする)。 単回帰の場合、決定係数＝相関係数の 2 乗であるから、回帰直線の当てはまり がよいことと相関が高いことは同じことなのである。すなわち回帰直線こそが、 x, yの相関 (直線的な関係) を表すものということができる。 例 1.3.1. 直線的な関係（相関）と曲線的な関係 上記 2 つの図を比べると左の図の方が直線の当てはまりがよい。右の図では、 どのように直線を引いても直線から大きく外れる点が出てきてしまうからであ る。よって、相関は左の図の方が高い。 例 1.3.2. カタクチデータ分析（BW = f (SL)）の R ２乗値：0.978（線形回帰）、 0.982（累乗回帰） どちらの R ２乗値も高いので、他に情報がなければより単純な線形回帰式を 選ぶことも考えられるが BW と SL の関係の場合、BW = aSLbの式が適切で ある理由がある（後方補外が原点と交わること、SL と BW の次元の違い）。こ のように、モデルの選択は統計分析だけでは決まらないこともある。参考ファイ ル：data1 demo.xls 重回帰の場合も R ２乗値（重決定係数）は上と同様に R2= 1− n ∑ i=1 (yi− f(x1i, . . . , xpi))2 n ∑ i=1 (yi− ¯y)2 で定義され、その平方根は重相関係数と呼ばれる。重相関係数は、目的変量 y の データ値 yiと推定値 f (x1, . . . , xp)の相関係数に等しい。 重回帰については、後に詳述する。
1.4
基本的な統計処理の実際
• データのダウンロード 1. data1.xlsを右クリックして、出てくるメニューから「リンク先をディ スクに保存」を選んで自分のディスクかディレクトリに保存せよ (単純 に左クリックすると web 上のファイルを直接開いてしまうので注意)。 以下のリンク先についても同様にダウンロードせよ。 2. katakuchi.csv 3. buri.csv 4. questionnaire.csv 5. data1.xlsについては表計算アプリケーション Excel で開き処理をす る。katakuchi.csv, questionnaire.csv については統計アプリケーショ ン R で読み込み処理する。それぞれのアプリケーションの得手不得 手を理解して目的に応じて使い分けてもらえれば幸いである。 • カタクチデータの度数分布、ヒストグラム、散布図、近似曲線 【Excel での処理】 1. ダウンロードした data1.xls を Excel でオープンする。 2. カタクチデータの平均、分散、標準偏差、最大値、最小値、相関係数 を計算する。それぞれに対応する Excel 関数の書式は、average(デー タ範囲)、varp(データ範囲)、stdevp(データ範囲)、max(データ範囲)、 min(データ範囲)、correl(データ範囲 1, データ範囲 2) である。 それぞれの値は直接定義式からも計算できるし Excel の関数を使うこ ともできるので両者の結果を比較して一致を見るとよい。 ここで Excel を使う上で大切な「セルの相対参照」の機能を理解する。 セルの相対参照・絶対参照 Excel のシート上でセル C4 に式「=B4」 を入力すれば当然 C4 には B4 の値が表示される。ところがこの C4のセルをコピーして下の C5 にペーストすると C5 には B4 の 値ではなく B5 の値が表示される。なぜかというと、C4 に入力さ れた「=B4」という式の B4 の意味は C4 から見て「一つ左の列 の同じ行」を意味するからである。よって C5 から見て「一つ左 の同じ行」は B5 になるのである。これをセルの相対参照という。他のセルにペーストしても値が変わらないようにするには式の中 でのセル参照 B4 を$B$4 としなければならない。これをセルの絶 対参照という。$マークをつけないと相対参照になるが B4 と打っ てから F4 キーを押すと絶対参照に変わる。$B4、B$4 のように 行または列のみ絶対参照にもできる。 3. カタクチの体長の度数分布を求める。 度数分布を求める関数 frequency の使い方 まず各階級の上限値を連 続したセルに入力しておく（「フィル」メニュー）。さらにヒスト グラムを作成するときのために隣の列に各階級の表現（例：8∼ 9）を入力しておこう。度数を入力するセルをすべて選んだ状態 で、frequency(データ範囲, 階級データ範囲) を選択したセルの一 番上のセルに入力し、shift, ctrl の２つのキーを押しながら Enter キーを押せば度数が計算され入力される。（frequency は一箇所に 入力するだけ、コピーしないこと。） うまくいかず修正するときは、ふたたび全入力セルを選び直して から、セルでなく入力バーにて修正を施し、shift, ctrl キーを押 しながら Enter キーを押す。 4. カタクチの体長のヒストグラムを作る。 ヒストグラムの作成法 階級を横軸ラベルに度数を縦軸にヒストグラ ムを作成したい。まずグラフにしたいデータを（階級の表現の列 と度数の列、列名も一緒に）選択する。（このとき階級上限値を 選ぶと階級上限値は数値と解釈されるので横軸のラベルとはなら ずに階級上限値も棒グラフになってしまう。）「挿入メニュー」の 「縦棒グラフ」の最初のを選ぶ。 5. カタクチデータの散布図。体長・体重の散布図を描く。体長と体重の データを選択してから「挿入メニュー」から「散布図」の最初のを 選ぶ。 6. 体長・体重の散布図に、近似直線（前方補外 0.5、後方補外 2.0）、近 似累次曲線（前方補外 0.5、後方補外 8.0）を近似式、R-２乗値ととも に書き込む。 【R での処理】 1. Rのアプリケーションを開く。入力画面（コンソール）が出て来る。
2. 入力をする前にファイルメニューの「ディレクトリの変更」で katakuchi.csv を保存したディレクトリを指定する。 3. コンソールで、以下を一行ずつ実行する。すなわち一行ずつ入力し て Enter キーを押す。最後の行の q() は R 終了のコマンド（命令）で ある。 d<-read.table("katakuchi.csv",header=T) min(d$SL) max(d$SL) hist(d$BW,breaks=seq(4,29)) lm(BW~SL,d) 以下は非線形回帰（グラフ付き）： d<-d[order(d$SL),,] fm<-nls(d$BW~a*d$SL ^b,d,start=list(a=0.1,b=1)) p<-predict(fm) plot(d$SL,d$BW) par(new=T) plot(d$SL,p,type="l") q() • ぶり市場データの分析 このデータについてもカタクチイワシと同様の分析ができる。（具体的な コンピュータ上の処理は省略） 1. 年度の異なる市場価格を比較するには、その時々の物価指数を考慮す る必要がある。すなわち物価指数が同じとしたときの価格に調整して から比べる。 2. 対数変換データの分析について 養殖入荷量 (q) と全体価格 (p) の間には一般化された反比例というべ き式 paqb= c、ここで a, b, c は定数 なる関係があるとする。すると、両辺の対数をとって、
なる式が導かれる。すなわち、log p と log q には一次式の関係がある ことになる。したがって、２変量のデータのそれぞれの対数をとった 間には直線の当てはめが適していることになる。このようにデータに ある変換を施すと、直線的な関係を持つデータになることがある。回 帰直線の当てはめについては、曲線に比べ統計的な分析が容易である 利点があるので、場合によってはそのような変換を施す意味がある。 • アンケートデータの分析 【Excel での処理】 1. data1.xlsのアンケートのシートを選ぶ。 2. 新しく作成するクロス集計表（の左上）となるセルをクリックして、 「挿入」ー「ピボットテーブル」をクリック 3. クロス集計したい設問を 2 つ選び、設問名も含めデータ範囲を選択 する 4. 出現した表の行と列に選んだ設問の列名をドラッグし、値フィールド には行にドラッグした列名をドラッグする 5. 個数データでなければ表のデータ部分を右クリックしデータの表示を 「個数」に設定する 【R での処理】 1. Rのアプリケーションを開く。入力画面（コンソール）が出て来る。 2. 入力をする前にファイルメニューの「ディレクトリの変更」で ques-tionnaire.csvを保存したディレクトリを指定する。 3. コンソールで、以下を一行ずつ実行する。すなわち一行ずつ入力し て Enter キーを押す。最後の行の q() は R 終了のコマンド（命令）で ある。 d2<-read.table("questionnaire.csv",header=T,sep=’\t’) table(d2$p1,d2$p2) q()
第
2
章 確率分布
2.1
離散型確率分布
2.1.1
試行と確率
サイコロを投げる、コインを投げるなどの試行に対し、試行の結果である事象 の各々に０から１までの値を与えたものを確率という。与えられた値を「その事 象の（起こる）確率」という。事象の確率はその事象の起こやすさを表す。通常、 事象はアルファベット大文字などで表し、事象 A の確率を P (A) のように表す。 一般にどの事象 A についても、 0≦ P (A) ≦ 1 であり、P (A) が大きいほど事象 A は起こりやすく小さいほど起こりにくい。ま た特別な場合として、P (A) = 0 は A が決して起きないことを意味し、P (A) = 1 は A が必ず起きることを意味する。 例 2.1.1. サイコロ投げ サイコロを投げる試行に対しては、「1 の目が出る」、...、「6 の目が出る」など の事象が考えられる。その各々の確率としては 1/6 ずつとすれば各事象の起こり やすさは同じということになる。 事象 A と事象 B が同時には起こりえないとき、事象 A と事象 B は排反である という。事象 A が起ころうが起こるまいが、事象 B の起こる確率に影響がない とき、事象 A と事象 B は互いに独立であるという。 • 加法法則：事象 A と事象 B は排反なら、P (A か B が起こる) = P (A)+P (B) ちなみに一般の加法法則は、P (A か B が起こる) = P (A) + P (B)− P (A, Bが共に起こる) • 乗法法則：事象 A と事象 B は互いに独立なら、P (A と B が共に起こる ) = P (A)P (B)(というかこれが独立性の定義である、以下の条件付確率の数学的定義を 参照)
ちなみに一般の乗法法則は、P (A, B が共に起こる) = P (A)P (B|A)。ここ で、P (B|A) は A が起こったときの B の起こる確率で条件付き確率である。 例 2.1.2. たばこを吸った人が女性である確率（条件付確率の例） 男女それぞれ 10 人、7 人が一部屋にいる中で、灰皿にたばこの吸殻が一つあっ た。男性の中で喫煙者は 5 人、女性の中で喫煙者は 3 人である。たばこを吸った のが女性である確率はいくらであろうか。すでに誰か１人が吸ったのであるから 男が女かどちらかに確定しているので確率を論じるのはおかしいという考え方も ある。しかし、誰も見ていなかったのだからしかたがない。以下のように考えて みよう。 たばこを吸った人（「犯人」としよう）は多分喫煙者 8 人の誰かだからその中 で考えよう。その中で女性は 3 人である。したがって求める確率は 3 8 である。これは「犯人は喫煙者である」という条件（あるいは「喫煙者 8 人のう ち誰かがたばこを吸った」という事象が起きた）もとで「犯人は女性である」と いう事象の確率を考えていることになる。よってこれは条件付確率 P (犯人は女性| 犯人は喫煙者) = 3 8 (1) を求めたことになるといってよいと思われる。実際、この確率の分母・分子を男 女の総数 17 で割ると、 P (犯人は女性| 犯人は喫煙者) = 3/17 8/17 = P (犯人は女性かつ犯人は喫煙者) P (犯人は喫煙者) = 3 8 となる。よって上の乗法法則： P (犯人は女性かつ犯人は喫煙者) = P (犯人は喫煙者）P (犯人は女性| 犯人は喫煙者) から (1) が 導かれると見ることができる。 （例の引用元：「Ｅｘｃｅｌでスッキリわかる ベイズ統計入門」。涌井良幸、涌 井貞美著、日本実業出版社） 実際に条件付き確率が計算できる例では、上例のように P (A|B) = P (Aかつ B が起きる) P (Bが起きる) となっている。よって
定義 2.1.1. 数学的な条件付確率の定義 P (A|B) = P (Aかつ B) P (B) P (B) = 0のときは定義されないことに注意しよう。 とし、ここから乗法法則 定理 2.1.1. P (A かつ B) = P (B)P (A|B) を導き、独立性を以下のように定義するのが最も一般性を持っているといえる。 定義 2.1.2. 独立性の定義 事象 A、B が独立であるとは P (Aかつ B) = P (A)P (B) すなわち P (A かつ B) = P (B)P (A|B) より、 P (A|B) = P (A) あるいは、P (A かつ B) = P (A)P (B|A) より、 P (B|A) = P (B) が成り立つことである。 また一般に、事象 A1, A2, . . . , Anが独立であるとは p(A1かつ A2かつ . . . かつ An) = P (A1)P (A2)· · · P (An) が成り立つことである。 例 2.1.3. コイン投げ 事象として、A を「表が出る事象」、B を「裏が出る事象」とする。A, B は 排反であり、かつどちらかがかならず起こるから、 P (A) + P (B) = P (A or B) = 1 である。よって、コインの裏表の出方に差がないとすれば、 P (A) = 1 2, P (B) = 1 2 ということになる。
例 2.1.4. ベルヌーイ試行と２項確率 コイン投げのように２つの事象 A, B からなる試行があってそれぞれの事象の 確率を p と 1− p とする。この試行を何回か（n 回とする）独立に繰り返す試行 をベルヌーイ試行という。ベルヌーイ試行の結果 A の起きた回数が k である事 象を一つ考えると、この事象の確率は pk(1− p)n−kである。A が k 回起こる事 象は、n 回のうち A が起こる k 回を選ぶ場合の数： ( n k ) = n! k!(n− k)! とおり存在（この数はいわゆる２項係数とも呼ばれるものである）する。これら の事象は互いに排反であるから、加法法則により、 P (Aが k 回起こる)) = ( n k ) pk(1− p)n−k である。これを２項確率という。
2.1.2
確率変数とその分布
さいころの目の値を X と書くと、１から６の各自然数 k に対し P (X = k) な る確率値が存在する。このように、確率が与えられている一連の事象の各々に対 してある値が対応しているとき、これらの値をとる変数を確率変数といい、確率 変数の値とその確率の対応を確率分布という。 確率変数の値が有限とおりであるか、無限とおりあっても自然数などのように とびとびの値であるとき、すなわち取り得る値を x1, x2, x3, . . . と書けるとき、その確率変数は離散型確率変数であるという。以後「連続型確率 変数」を導入するまでは、確率変数は離散型であるとする。 確率変数 X1, . . . , Xnの取り得る任意の値 x1, . . . , xnに対し、事象 X1= x1, . . . , Xn= xnが独立であるとき確率変数 X1, . . . , Xnは独立であるという。 例 2.1.5. ２項分布 １個のコイン投げにおいて、裏・表が出る確率をそれぞれ決めておく。X を表 が出たら１、裏が出たら０とすると、X は確率変数である。また、n 個のコイン投 げ（ベルヌーイ試行）において、表が出たコインの数を Y とすると、Y, Z = Y nは共に確率変数である。Y は上の例の２項確率を分布とする確率変数で、２項確 率変数といい、その分布を２項分布といい、B(n, p) で表す。 X1, . . . , Xnを上の X と同じ分布を持つ互いに独立な確率変数とすると、 Y = X1+· · · + Xn, Z = X1+· · · + Xn n が成り立つ。 2項分布のグラフは p = 12 のときは左右対称、p ̸= 12 のときも n→ ∞ とな るにつれ正規分布で近似されるようになり（後述）、標準偏差も√nに比例する （後述）ため分布は中央に集中し左右対称に近づく。 確率変数 X に対し、X の取り得る値を x1, x2. . .としたとき、 E(X) =∑ i xiP (X = xi) を X の期待値（平均値）という。 確率変数 X に対し、 V (X) = E((X− E(X))2) を X の分散という。また、確率変数 X, Y に対し、
C(X, Y ) = E((X− E(X))(Y − E(Y )))
を X, Y の共分散という。 例 2.1.6. 期待値の解釈をするために、今、n 通りの値 v1, . . . , vnからなるデー タがあり各値 viの度数は fiとし、データ総数を N = n ∑ i=1 fiとおく。このデー タから１つを抜き出す試行を考え、取り出した値を X とすると、これは、確率 分布 P (X = vi) = fNi に従う確率変数と考えられる。この X の期待値を計算す ると、 E(X) = n ∑ i=1 vi fi N となって、統計的な平均値と一致する。 補題 2.1.1.1. 統計データの平均と分散と同様に、確率変数 X に対し次が成立 する。
E(aX + b) = aE(X) + b, V (aX + b) = a2V (X)
また、確率変数 X, Y に対し次が成立する。
(証明) 最後だけ示す。あとは簡単なので演習とする。pij= P (X = xi, Y = yj) とおく。 E(X + Y ) = ∑ i,j (xi+ yj)pij = ∑ i,j xipij+ ∑ i,j yjpi,j = ∑ i xi ∑ j pij +∑ j yj ( ∑ i pi,j ) = ∑ i xiP (X = xi) +∑ j yjP (Y = yj) = E(X) + E(Y ) 定理 2.1.2.
E(a1X1+· · · + anXn+ b) = a1E(X1) +· · · + anE(Xn) + b
(証明) 上の補題を繰り返し用いれば明らか。 補題 2.1.2.1. 確率変数 X, Y に対し、 V (X + Y ) = V (X) + V (Y ) + 2C(X, Y ), C(X + Y, Z) = C(X, Y ) + C(Y, Z) が成立する。また、 C(X, Y ) = E(XY )− E(X)E(Y ) がいえる。これを用いると、X, Y が独立なら E(XY ) = E(X)E(Y ) がいえる ので、 C(X, Y ) = 0
(証明)
V (X + Y ) = E({X + Y − E(X + Y )}2) = E({(X − E(X)) + (Y − E(Y ))}2)
= E((X− E(X))2) + 2E((X− E(X))(Y − E(Y ))) + E((Y − E(Y ))2) = V (X) + V (Y ) + 2C(X, Y )
C(X, Y ) = E((X− E(X))(Y − E(Y )))
= E(XY − XE(Y ) − Y E(X) + E(X)E(X))
= E(XY )− E(X)E(Y ) − E(X)E(Y ) + E(X)E(Y )
= E(XY )− E(X)E(Y ) X, Y が独立なら、x, y の各値 xi, yjに対し、P (X = xi) = pi, P (Y = yj) = qj とおけば、 E(XY ) = ∑ i,j xiyjpiqj = ∑ i xipi ∑ j yjqj = E(X)E(Y ) 定理 2.1.3. V ( n ∑ i=1 aiXi+ b ) = n ∑ i=1 a2iV (Xi) + 2 ∑ i<j aiajC(Xi, Xj) とくに、X1, . . . , Xnが互いに独立なら、 V ( n ∑ i=1 aiXi+ b ) = n ∑ i=1 a2iV (Xi) (証明) 後半は前半と前補題より明らか。前半も前補題と前々補題を繰り返し 用いることにより示すことができる。 例 2.1.7. 2 項分布の平均と分散 2項確率変数 Y = X1+· · · + Xnと、Z = Y n について、P (X = 1) = p とす れば、E(X) = p, V (X) = p(1− p) なので、 E(Y ) = np V (Y ) = np(1− p), E(Z) = p V (Z) =p(1− p) n
例 2.1.8. ポアソン分布 µを正の定数として、 P (X = x) = e−µµ x x!, x = 0, 1, 2, . . . で与えられる離散型確率分布をポアソン分布という。 指数関数のマクローリン展開 ∞ ∑ x=0 µx x! = e µ より、上が確率分布を与えることは明らかである。 ポアソン分布は取り得る値が無限である離散分布の例である。 Xを上のポアソン分布に従う確率変数とすると、E(X) = µ, V (X) = µ であ る。 (証明) E(X) = µ は読者に任せる。 E(X(X− 1)) = ∞ ∑ x=2 x(x− 1)e−µµ x x! = e −µµ2 ∞ ∑ x=2 µx−2 (x− 2)! = µ 2
E(X2) = E(X(X− 1)) + E(X) = µ2+ µ
V (X) = E(X2)− E(X)2= µ2+ µ− µ2= µ また、ポアソン分布は２項分布 B(n, p) において np = µ 一定とし n→ ∞ と した極限の分布であると考えられる。なぜなら、 P (X = x) =nCxpx(1− p)n−x = n! x!(n− x)! (µ n )x( 1−µ n )n−x = µ x x! ( 1−1 n ) · · · ( 1−x− 1 n ) {( 1−µ n )−n µ }−µ(1−x n) → µx x!e −µ (n→ ∞) したがって、単独試行の確率 (p) は非常に小さく試行の回数 (n) が非常に大き い２項分布は近似的に µ = np を期待値とするポアソン分布とみなせる。 よって、たとえば事故死の確率は非常に小さくても一つの都市での年間事故死 数 X を考えると、X はポアソン分布に従う。
2.1.3
確率変数の標本と大数の法則
ある確率変数 X と同じ分布に従い、互いに独立な n 個の確率変数 X1, . . . , Xn の実現値を（サイズが n の）X の（独立）標本という。（ふつう行われているよ うに）単に標本といったときも独立性が仮定されているものとする。標本の平均 値を ¯Xと書き、標本平均という。これは確率変数 X から導出された確率変数で ある。X の標本分散も同様に定義する。 コイン投げで表が出たら１裏が出たら０をとる確率変数 X を考える。コイン １個のときの X の分布は０、１均等とする。コイン２個のときそれぞれに X と 同じ分布を持つ独立な X1, X2を考えて、その平均値 ¯X = X1+X2 2 の分布を考え ると、 ¯X = 0.5の分布が一番高いはずである。なぜなら、 ¯X = 0.5となるのは (X1, X2) = (1, 0), (0, 1)の２通りあるのに対し、 ¯X = 0, 1となるのはそれぞれ (X1, X2) = (0, 0)、(X1, X2) = (1, 1)の１通りずつしかないからである。さらに コインの数を増やすとこの平均値の分布は 0.5 を中心に末広がりの様相を見せ、 中央への集中度を高めていく。この様子は (x + y)nの展開における２項係数の 変化を見るか、コンピュータで２項分布のグラフをいろいろ描いてみるととよく わかるだろう。 次は確率変数の期待値を平均値と呼ぶ理由になっていると同時に、確率を統計 分析に使う拠り所でもある。 定理 2.1.4 (大数の法則). 確率変数 X の分散を有限とするとき、X の標本平均 ¯ X は標本のサイズが十分大きければ、X の期待値 E(X) の近くに分布する。 （証明）これは、確率変数についても統計変量に関するチェビシェフの不等式 が同様に示せるのでそこから出てくるが、直接示せば以下のようになる。 ϵ > 0, V (X) < Kとする。上に述べた定理より V ( ¯X) < Kn, E( ¯X) = E(X) である。ここで V ( ¯X)について標本の独立性が使われていることに注意せよ。し たがって、 K n > V ( ¯X) ≥ ∑ |x−E(X)|≥ϵ (x− E(X))2P ( ¯X = x) ≥ ϵ2 ∑ |x−E(X)|≥ϵ P ( ¯X = x) = ϵ2P (| ¯X− E(X)| ≥ ϵ) よって、 P (| ¯X− E(X)| ≥ ϵ) ≤ K nϵ2大数の法則は、大雑把にいえば、「独立標本を多くとるほど、結果は理論値に 近くなる」ということを期待値と平均値の関係として述べているといえる。つぎ はこのことの具体的な説明である。 確率および確率分布の統計的意味 1. ある試行における事象 A の確率が p であるなら、試行を（独立に）十分多 くくり返したとき（n 回）、A の起きる割合いは p の近くに分布する。 (証明) A の起きたとき１、そうでないとき０という確率変数を X とする と、X の期待値は 1· p + 0 · (1 − p) = p であり、X の標本平均は A の起 きる割合であるからである。（十分多くくり返したとき A の起きた割合が pとほど遠いことは可能性としてはあるが、ほとんどない。） 2. ある確率変数の標本をとるとき、その標本が十分大きければ、そのヒスト グラム（度数分布図）は確率分布のグラフの形に近くなる。 （証明）確率変数 X と X が取り得る任意の値 k に対し、X = k となる事 象を A とすれば、(１) より X の大標本中の A の起きた割合は A の起こる 確率に近くなる。 （注）直接以下のように示してもよい。 X(k) = { 1 X = k 0 X ̸= k なる確率変数を定義し、その標本を X1(k),· · · , Xn(k)とすると、X = k の度数は Sn,k = n ∑ i=1 Xi(k) である。Sn,k n は、X(k) の標本平均なので大数の法則より n 大のとき P (X = k)に近い。また、度数自身は nP (X = k) に近い。 このように大数の法則は、標本の度数分布が確率変数の分布を反映してい ることを保証しているわけで、標本を調べることで元の確率分布に関して 推測することができることを示唆している（実際にそうした推測を以後行 う）。しかしここで改めて注意をしておくが、大数の法則およびその帰結で ある「標本分布は元の分布を反映している」ことは、標本は独立に採るこ とが前提になっている。このことは、アンケート調査などをするとき、対 象を恣意的に選んではいけないことの理論的根拠であるといえよう。
2.1.4
確率シミュレーションによる確率法則の確認
シミュレーションとは模擬実験のことである。確率シミュレーションとは確率 事象を人為的に起こす模擬実験であり、コンピュータの疑似乱数なるものを用い て行う。 ここでは、とくに大数の法則をシミュレーションによって確かめたい。ウェブ 上には大数の法則のシミュレーションのページがあるからそれらを見ることがで きる。自分でコンピュータ実験をするなら表計算より octave が手頃であろう。 octaveでまず X が一様乱数のとき、その標本平均が 0.5 付近に分布すること を見る。 つぎに特定の分布にしたがう乱数の度数分布はその分布の密度関数の形に近い ことを見る。 まず、特定の分布を持つ乱数を発生させるにはつぎのようにする。その分布の 分布関数 F を次のように定義する。すなわちその分布にしたがう確率変数を X とすると、 F (x) = P (X≦ x) そのうえで、Y を [0, 1] 区間の一様乱数として、 X = F−1(Y ) とすれば、X が求める乱数である。ここに F−1(y)は F (x) = y となるような x を返す。 この方法にしたがい octave である乱数を発生させその度数分布と密度関数の グラフを比べる。2.2
連続型確率分布と中心極限定理
2.2.1
連続型確率分布
例 2.2.1. 一様乱数 区間 [a, b] の値を一つ取り出す試行を考える。どの値を取り出す確からしさも 同じとするとき、取り出した数を一様乱数という。一様乱数はある数式を用いて 疑似的に生成することができるが、それを疑似一様乱数といい、各種の確率シ ミュレーションの基礎になるものである。確率事象に伴う数としては、さいころの目のような離散的な値をとるものの他 に、身長値や一様乱数などのように連続的な値をとると考えた方が自然なものが ある。そこで連続型の確率変数と分布を定義する。 連続型の確率変数 X のとりうる値は実数である。X がある値をとる確率を定 めようとすると、たとえば一様乱数の場合ならどの値をとる確率も同じ一定値に すべきであろうが、そうすると確率の総和は 1 ではなく無限になる。そこで、連 続値をとる確率変数に対しては、確率密度関数 p(x) なるものを与えた上で、確 率は次の形で考える： P (a≤ X ≤ b) = ∫ b a p(x)dx (∗) ただし、p(x) は∫−∞∞ p(x)dx = 1なるものとする。 連続型の確率変数とは、確率密度関数が存在して分布が (∗) の形で与えられる ものである。 注意. 分布を分布関数 F (x) = P (X ≤ x) によって定まるものとすれば、離散型 と連続型の分布を統一的に論じることができる。 期待値 E(X) は、 E(X) = ∫ ∞ −∞ xp(x)dx と定める。 V (X), C(X, Y )も離散型分布のときと同じように期待値を使って定義される。 V (X) = E((X− E(X))2)
C(X, Y ) = E((X− E(X))(Y − E(Y )))
例 2.2.2. 一様分布 上の一様乱数の従う分布としては、確率密度関数を p(x) = 1 (x∈ [0, 1]), p(x) = 0 (x /∈ [0, 1]) ととればよい。期待値と分散は以下のようになる。 E(X) = ∫ 1 0 xdx = 1 2 V (X) = ∫ 1 0 ( x−1 2 )2 dx = 1 12
例 2.2.3. 正規分布 確率密度関数 p(x) = √1 2πσe −(x−µ)2 2σ2 なる確率密度関数を持つ連続分布を、平均値 µ 標準偏差 σ の正規分布といい、 N (µ, σ2)で表す。X を N (µ, σ2)に従う確率変数とすると、実際 µ は X の期待 値 σ2は X の分散である。 (証明の概略) まず以下の広義積分を認めておく (被積分関数は不定積分を計算で きないのでこの広義積分の方法には別の方法を使う必要がある。重積分を使う方 法などがあるので解析のテキストを参照のこと。)。 ∫ ∞ −∞ e−x2dx =√π すると、 E(X) = √1 2πσ ∫ ∞ −∞ xe−(x2σ2−µ)2dx は、z = x− µ σ とおいて置換積分をして上の積分を使えば E(X) = µ と求まる。 V (X) = √1 2πσ ∫ ∞ −∞ (x− µ)2e−(x2σ2−µ)2dx も同じ置換積分をすれば、 V (X) = √1 2π ∫ ∞ −∞ σ2z2e−z22dz となるが右辺の被積分関数を−z(−ze−z22 )と見て部分積分すれば、上の積分を 使って V (X) = σ2が出る。詳細は読者にお任せする。 微分法による簡単な議論によって、N (µ, σ2)の密度関数 p(x) のグラフは x = µ に関し対称で x = µ で極大な末広がりなグラフであり、また x = µ−σ, x = µ+σ はこのグラフの変曲点であることがわかる。 正規分布は多くの統計データが従う分布であるといわれている。たとえば、身 長/体長や測定誤差/実験誤差などである。実際正規分布は誤差が従う分布として ガウスによって発見された (よって正規分布をガウス分布ともいう)。
X, Y が連続型確率変数で、X, Y の任意の区間 [a, b], [c, d] に対して、ある２ 変数関数 f (x, y) があって、 P (a≤ X ≤ b, c ≤ Y ≤ d) = ∫ d c ∫ b a f (x, y)dxdy となるとき、f (x, y) を２次元確率変数 (X, Y ) の同時密度関数という。 P (a≤ X ≤ b, −∞ < Y < ∞) = ∫ b a ∫ ∞ −∞ f (x, y)dydx P (−∞ < X < ∞, c ≤ X ≤ d) = ∫ d c ∫ ∞ −∞ f (x, y)dxdy より、 ∫ ∞ −∞ f (x, y)dy, ∫ ∞ −∞ f (x, y)dx はそれぞれ、X, Y の密度関数である。 確率変数 X, Y の任意の区間 [a, b], [c, d] に対し、事象 a≤ x ≤ b, c ≤ y ≤ d が独立であるとき確率変数 X, Y は独立であるという。 連続型確率分布の場合の乗法法則はつぎのようにもいえる。 • p(x), q(y) をそれぞれ X, Y の密度関数、f(x, y) を X, Y の同時密度関数と する。X, Y が独立なら、f (x, y) = p(x)q(y) が成立する。 (証明) P (a≤ X ≤ b, c ≤ Y ≤ d) = P (a ≤ X ≤ b)P (c ≤ Y ≤ d) = ∫ b a p(x)dx ∫ d c q(y)dy = ∫ d c ∫ b a p(x)q(y)dxdy 定理 2.2.1. 連続型確率変数 X, Y の確率密度関数を p(x), q(y)、(X, Y ) の同時 密度関数を f (x, y) とすれば、 E(φ(X, Y )) = ∫ ∞ −∞ ∫ ∞ −∞ φ(x, y)f (x, y)dxdy
(証明) Z = φ(X, Y ) の確率密度関数を r(z) とする。φ(X, Y )≥ 0 として、 E(Z) = ∫ ∞ 0 tr(t)dt = ∫ ∞ 0 ∫ t 0 r(t)dzdt = ∫ ∞ 0 ∫ ∞ z r(t)dtdz ここで最後の等式は、{(t, z) : 0 ≤ t < ∞, 0 ≤ z ≤ t} = {(t, z) : 0 ≤ z < ∞, z ≤ t < ∞} であることによる。さらに、 E(Z) = ∫ ∞ 0 ∫ ∞ z r(t)dtdz = ∫ ∞ 0 P (Z > z)dz = ∫ ∞ 0 ∫ ∫ {(x,y): φ(x,y)>z} f (x, y)dxdydz = ∫ ∞ −∞ ∫ ∞ −∞ ∫ φ(x,y) 0 f (x, y)dzdxdy = ∫ ∞ −∞ ∫ ∞ −∞ φ(x, y)f (x, y)dxdy ここで最後から２番目の等式は、{(x, y, z) : 0 ≤ z < ∞, φ(x, y) > z} = {(x, y, z) : −∞ ≤ x, y < ∞, 0 ≤ z < φ(x, y)} であることによる。 離散型分布のときと同様に以下の補題と定理が成立する。 補題 2.2.1.1. 統計データの平均と分散と同様に、確率変数 X に対し次が成立 する。
E(aX + b) = aE(X) + b, V (aX + b) = a2V (X)
また、確率変数 X, Y に対し次が成立する。
E(X + Y ) = E(X) + E(Y )
f (x, y)とおく。 E(X + Y ) = ∫ ∞ −∞ ∫ ∞ −∞ (x + y)f (x, y)dxdy = ∫ ∞ −∞ ∫ ∞ −∞ xf (x, y)dxdy + ∫ ∞ −∞ ∫ ∞ −∞ yf (x, y)dxdy = ∫ ∞ −∞ x (∫ ∞ −∞ f (x, y)dy ) dx + ∫ ∞ −∞ y (∫ ∞ −∞ f (x, y)dx ) dy = E(X) + E(Y ) 定理 2.2.2.
E(a1X1+· · · + anXn+ b) = a1E(X1) +· · · + anE(Xn) + b
補題 2.2.2.1. 確率変数 X, Y に対し、 V (X + Y ) = V (X) + V (Y ) + 2C(X, Y ), C(X + Y, Z) = C(X, Y ) + C(Y, Z) が成立する。また、 C(X, Y ) = E(XY )− E(X)E(Y ) がいえる。これを用いると、X, Y が独立なら E(XY ) = E(X)E(Y ) がいえる ので、 C(X, Y ) = 0 (証明) 最初の２つは離散型と全く同じ証明。 X, Y が独立なら、X, Y の確率密度関数を p(x), q(y)、同時密度関数を f (x, y) とすれば、 E(XY ) = ∫ ∞ −∞ ∫ ∞ −∞ xyf (x, y)dxdy = ∫ ∞ −∞ ∫ ∞ −∞ xyp(x)q(y)dxdy = ∫ ∞ −∞ yq(y) ∫ ∞ −∞ xp(x)dxdy = ∫ ∞ −∞ xp(x)dx ∫ ∞ −∞ yq(y)dy = E(X)E(Y )
定理 2.2.3. V ( n ∑ i=1 aiXi+ b) = n ∑ i=1 a2iV (Xi) + 2∑ i<j aiajC(Xi)C(Xj) とくに、X1, . . . , Xnが互いに独立なら、 V ( n ∑ i=1 aiXi+ b) = n ∑ i=1 a2iV (Xi) (証明) 離散型と同じ証明。 証明は略すが、正規分布についてはつぎの性質が成り立つ。 定理 2.2.4. X1, . . . , Xnが互いに独立な確率変数で、各 Xiは正規分布 N (µi, σ2i) にしたがうとき、aiを定数として、 n ∑ i=1 aiXiは、正規分布 N ( n ∑ i=1 aiµi, n ∑ i=1 a2iσi2 ) にしたがう。 よく使うかたちは標本平均に関するものである。各 Xiは正規分布 N (µ, σ2)に したがうとき、 X1+· · · + Xn n は、正規分布 N ( µ, σ 2 n ) にしたがう。 離散分布のときと同様にして、「大数の法則」が成立することも示される。 中心極限定理 大数の法則は標本平均は標本のサイズが大きいほど期待値の近くに分布するこ とを主張するが、次の定理はさらにその分布の形を特定するものである。 定理 2.2.5 (中心極限定理). 確率変数 X の平均を µ、分散を σ2とするとき、標 本のサイズ n が十分大きければ、X の標本平均 ¯Xの分布は、正規分布 N (µ,σn2) で近似される。また、X の標本和 X1+· · · + Xnの分布は、正規分布 N (nµ, nσ2) で近似される。
前に述べたように正規分布をすると見られるデータは多いが、中心極限定理は さらに理論的に正規分布の適用範囲を広めるものであるといえる。 例 2.2.4. ２項分布の正規近似 X を事象 A が起きたとき 1、起きなかったとき 0 をとる確率変数とする。 P (X = 1) = pとすれば、X のサイズ n の標本和 Y は２項分布 B(n, p) に従う。 E(X) = p, V (X) = p(1−p) なので、B(n, p) は n が大きいとき中心極限定理より N (np, np(1− p)) で近似される。また、X の標本平均の分布は N ( p,p(1− p) n ) で近似される。
2.2.2
正規標本論
標本分布にもとづく統計分析においては、標本平均以外の統計量の分布を知り たいことがある。統計量の分布を知る典型的な方法は、中心極限定理などで正規 分布をしていると仮定できる統計量 X の標本 (正規標本) の関数として表される 統計量の分布について成立する定理を使う方法である。以下にこの方法で良く使 われる分布といくつかの定理を述べる。 定義 2.2.1. χ2( カイ２乗) 分布 自然数 n に対してつぎのような密度関数を持つ連続分布を自由度 n の χ2分布 という。 fn(χ2) = 1 2n2Γ(n 2) (χ2)n2−1e− 1 2χ 2 (χ2> 0) 0 (χ2≤ 0) ここに、Γ はガンマ関数である。 Γ(p) = ∫ ∞ 0 xp−1e−xdx, (p > 0) 定理 2.2.6. Z を正規分布 N (0, 1) に従う確率変数とすれば、Z2は自由度 1 の χ2乗分布に従う。 (証明) 略。定理 2.2.7. X1, . . . , Xnを正規分布 N (µ, σ2)に従う独立な確率変数とすれば、 1 σ2 n ∑ i=1 (Xi− µ)2は自由度 n の χ2乗分布に従う。 (証明) 略。 定理 2.2.8. X1, . . . , Xnを正規分布 N (µ, σ2)に従う独立な確率変数とすれば、 1 σ2 n ∑ i=1 (Xi− ¯X)2は自由度 n− 1 の χ2乗分布に従う。 (証明) 略。 定義 2.2.2. t 分布 自然数 n に対し密度関数がつぎで与えられる分布を自由度 n の t 分布という。 fn(t) = 1 √ nB(n 2, 1 2 ) ( 1 +t 2 n )n+1 2 ここで B(p, q) は以下で与えられるベータ関数である。 B(p, q) = ∫ 1 0 xp−1(1− x)q−1dx, (p > 0, q > 0) t分布の密度関数のグラフは左右対称である。 定理 2.2.9. Z が正規分布 N (0, 1) に従い、χ2がこれと独立に自由度 n の χ2分 布に従うならば、 t = √Z χ2 n は、自由度 n の t 分布に従う。 (証明) 略。 定理 2.2.10. X1, . . . , Xnが正規分布 N (µ, σ2)に従う独立な確率変数で、 U2= 1 n− 1 n ∑ i=1 (Xi− ¯X)2
とするとき、 t = ¯ X− µ √ U2 n は、自由度 n− 1 の t 分布に従う。U2を不偏分散という (推定の節を参照)。 定理 2.2.11. 分散が等しい 2 つの正規分布 N (µX, σ2), N (µY, σ2)にそれぞれ 従う X, Y のそれぞれサイズ m, n の標本をとったとき、それぞれの標本平均を ¯ X, ¯Y、標本不偏分散を U2 X, U 2 Y とする。このとき、 T = ¯ X− ¯Y − (µX− µY) √ V2(1 m+ 1 n ) , ただし V2= (m− 1)U 2 X+ (n− 1)UY2 m + n− 2 において T は、自由度 m + n− 2 の t 分布に従う。 定義 2.2.3. F 分布 自然数 m, n に対し密度関数がつぎで与えられる分布を自由度 (m, n) の F 分 布という。 f(m,n)(F ) = mm2nn2 B(m 2,n2) Fm2 −1 (mF +n)m+n2 (F > 0) 0 (F ≤ 0) ここで B(p, q) は上述のベータ関数である。 定理 2.2.12. χ2 1, χ22がそれぞれ自由度 m, n の χ2分布に従う独立な確率変数な らば、 F = χ21 m χ2 2 n は、自由度 (m, n) の F 分布に従う。 (証明) 略。
2.2.3
中心極限定理のシミュレーション
ここでは、octave を使って、中心極限定理のシミュレーションを行う。独立な確率変数 Xi, i = 1, . . . nの分布として [0, 1] 区間の一様乱数をとる。前 に見たとおり、 µ = E(Xi) = 0.5 σ2= V (X) = 1 12 である。標本サイズ n = 50 にとる。すると、中心極限定理より、 ¯ X = X1+· · · + Xn n の分布はほぼ正規分布 N (0.5, 1/600) で近似できるはずである。これは octave で 以下のように確かめられる。 0.01刻みで 1000 個分の Z ヒストグラムと正規分布のグラフを書いている。正 規分布の密度関数に対するスケーリングファクターは、1000/100=10 である。 octave:1> for i=1:1000
> data(i)=mean(rand(50,1)); > end octave:2> x=0:0.01:1; octave:3> hist(data,x,‘‘facecolor’’,‘‘w’’,‘‘edgecolor’’,‘‘b’’) octave:4> hold octave:5> plot(x,10*normpdf(x,0.5,sqrt(1/600)),‘‘color’’,‘‘r’’)
第
3
章 統計的推測
-
推定と検定
3.1
標本による母集団の推測
確率変数の（独立）標本を定義したが、一般に統計において標本（サンプル sample）とは、ある種のデータ全体（母集団 population）から取り出した一部 のデータ X1, . . . , Xnのことをいう。標本（サンプル）の名のとおり母集団全体 を推し測る意図をもって取り出された全体の一部である。ここで、実際に取り出 した標本の各データ Xiの値が確率的に決まると考えると、各 Xiは確率変数に なる。 さらに、各 Xiの分布が同一であり、各々のデータを互いの値に依存せずに取り 出したとすれば、この標本はある確率変数の（独立）標本になるわけである。実 際に標本の各データを抽出するときに注意すべきことは、母集団の各データを等 確率で抽出するようにすべきことである。そうしないと、標本の各データがある 確率分布の実現値とはいえなくなる。その上で標本の各データは独立に採らねば ならない。ここでは、こうした標本の採り方を「無作為抽出 random sampling」 と呼ぼう。 さて的確に採取された標本は母集団の傾向をある程度反映しているはずである から、標本から母集団の性質を推し測ることができるかもしれない。この推測を 確率統計的な根拠のもとに行うのが統計的推測 statistical inference と総称さ れる1方法である。統計的な根拠としては、標本が実現する確率変数の分布を具 体的に仮定する方法があり、この統計的推測法をパラメトリック法 parametric methodという。標本が実現する確率変数の分布を具体的に仮定しない統計的 推測法をノンパラメトリック法という。 統計的推測は、推定 estimation と検定 test の 2 種類に分類される。以下に 見ていくように、推定は「ある値を求める」手法であり、検定は「ある質問に yes,noで答える」手法であり、推測としての問題の立て方がまったく違う。 例 3.1.1. 母集団の例として、 1inferenceは推論という意味もある語である。1. 日本人成人男子の身長 2. ある実験における実験値 を挙げる。 1の場合の標本とは、日本人成人男子を何人か選んで身長値をとったものであ る。母集団の身長値全体はある分布（たとえば正規分布）をしており、選ばれる 身長値はそれに従った確率変数であると考えられる。 2の場合はまず実験値には誤差があるものとして同じ実験を繰り返す毎に違う 実験値が得られる可能性があることを前提として、取り得る実験値のすべて (重 複を含めて) を母集団と見る。誤差が確率的に決まると考えれば実験値は確率変 数である。2 の場合の標本とは、実験を繰り返して何個かの実験値を得ることで ある。
3.2
点推定・最尤推定・ベイズ推定
3.2.1
推定量としての望ましい性質
母集団に関するある値 (母数 parameter) を知りたいときに母集団からとった 標本に関する値をもって母数を推測することを点推定という。 今知りたい母数が母集団の平均値であるときこれを母平均と呼び、これを母集 団からの標本の平均である標本平均で推定することを考える。このとき母平均 µ と標本平均 ¯Xの間には一般に次の関係がある (次定理参照)。 E( ¯X) = µ このように、母数を平均値とするような推定値を不偏推定量という。不偏推定量 であるならいくつも標本をとってその推定量を計算すればそれらの平均は母数に 近いといっていいだろう。不偏性は、（特に分散が小さい場合は）推定値として 望ましい性質であるといえる。同じ母数に対する不偏推定量のうち分散が最小の ものが存在すれば、それを有効推定量と呼ぶ。 定理 3.2.1. 1. 標本平均は母平均の不偏推定量である。 2. 標本の分散 (標本分散) は母集団の分散 (母分散) の不偏推定量ではなく、母 分散の不偏推定量は、 U2= 1 n− 1 n ∑ i=1 (Xi− ¯X)2これを不偏分散という。 (証明) 母平均を µ、母分散を σ2とする。平均については、 E( ¯X) =E ( X1+· · · + Xn n ) = 1 nE(X1+· · · + Xn) = 1 n{E(X1) +· · · + E(Xn)} = E(X) = µ 分散については、まず n ∑ i=1 (Xi− µ)2= n( ¯X− µ)2+ n ∑ i=1 (Xi− ¯X)2 となることを示そう。 n ∑ i=1 (Xi− µ)2 = n ∑ i=1 (Xi− ¯X + ¯X− µ)2 = n ∑ i=1 (Xi− ¯X)2+ 2( ¯X− µ) n ∑ i=1 (Xi− ¯X) + n( ¯X− µ)2 = n( ¯X− µ)2+ n ∑ i=1 (Xi− ¯X)2 上式の右辺第 1 項の期待値が 0 にはならないところがポイントである。実際両辺 の期待値をとれば、 n ∑ i=1 E((Xi− µ)2) = nE(( ¯X− µ)2)+ E ( n ∑ i=1 (Xi− ¯X)2 ) 左辺は nσ2なので nσ2= nE(( ¯X− µ)2)+ E ( n ∑ i=1 (Xi− ¯X)2 ) となるが、右辺第 1 項については E( ¯X) = µ, V ( ¯X) = σ2 n であるから、 nσ2= nσ 2 n + E ( n ∑ i=1 (Xi− ¯X)2 )
したがって E ( 1 n− 1 n ∑ i=1 (Xi− ¯X)2 ) = σ2 標本からある母数の推定量を求めるとき、標本のサイズが大きいほど推定量が 母数に近くなることが望まれる。このような推定量を一致推定量という。数学的 に明確に述べると、ある母集団から n サイズの標本 X1, . . . , Xnをとり、これか ら求めた母数 θ の推定量を Tnとするとき、任意の ε > 0 に対し、 lim n→∞P (|Tn− θ| > ε) = 0 が成立するなら、Tnを θ の一致推定量という。 標本平均、標本分散、不偏分散は一致推定量である。
3.2.2
最尤推定
これまでは、具体的な推定量としては、標本平均と標本分散と不偏分散であっ たが、一般的にそれ以外の推定量を求める方法も存在する。その一つが最尤推定 である。その原理を説明するために簡単な例を取り上げる。 例 3.2.1. コインの種類の推定（1） A、B、C のコインを投げたとき表が出る確率がそれぞれ1 3, 1 2, 2 3であるとす る。今このどれか一つのコインを 80 回投げて、表が 49 回、裏が 31 回出たとす る。投げたコインは A、B、C のどのコインであったと考えるのが一番尤もらし い（most likely）であろうか。それぞれ、A、B、C のコインを投げたとき、表 が 49 回、裏が 31 回出る確率を求めてみる。A を投げたときは、 ( 80 49 ) ( 1 3 )49( 1−1 3 )31 = 0.000 Bを投げたときは、 ( 80 49 ) ( 1 2 )49( 1−1 2 )31 = 0.012Cを投げたときは、 ( 80 49 ) ( 2 3 )49( 1−2 3 )31 = 0.054 である。よって表 49 回、裏 31 回出る確率はコインが C であるとき最大である。 よって、投げたコインは C であるとする（いいかえればコインの表が出る確率 の推定値は 2/3 であるとする）のが最尤法である。 最尤原理とは、この例のように「考えられる母数の値のうち、今現在起きてい る事象が起きる確率がもっとも大きくなる値が、現時点では、その母数の推定値 として一番尤もらしい」という考え方である。このとき、「今現在起きている事 象が起きる確率」を尤度（likelihood）といい、尤度が最大になる母数の推定値 を最尤推定値という。 最尤推定値は一致推定量であることを示すことができる。したがって最尤推定 値は推定値として望ましい性質の一つを備えている。 また、最尤法は連続分布をする母集団に対しても、確率の代わりに確率密度を 使って尤度を定めることで用いることができる。たとえば正規分布にしたがう母 集団の母平均の最尤推定値は標本平均であり、母分散の最尤推定値は標本分散で ある。これを見てみよう。独立な確率変数 X1, . . . , Xnの各々がしたがう正規分 布を f (x|µ, σ) = √1 2πσe −(x−µ)2 2σ2 とすれば、標本値 x1, . . . , xnの尤度関数は、 f (x1, . . . , xn|µ, σ) = n ∏ i=1 1 √ 2πσe −(xi−µ)2 2σ2 この対数（対数尤度）をとると、 L = log f (x1, . . . , xn|µ, σ) = n ∑ i=1 log√1 2πσe −(xi−µ)2 2σ2 =n log√1 2πσ− n ∑ i=1 (xi− µ)2 2σ2 =− n log(√2πσ)− 1 2σ2 n ∑ i=1 (xi− µ)2
