第 3 章 統計的推測 - 推定と検定
3.2 点推定・最尤推定・ベイズ推定
3.2.2 最尤推定
これまでは、具体的な推定量としては、標本平均と標本分散と不偏分散であっ たが、一般的にそれ以外の推定量を求める方法も存在する。その一つが最尤推定 である。その原理を説明するために簡単な例を取り上げる。
例 3.2.1. コインの種類の推定（1）
A、B、Cのコインを投げたとき表が出る確率がそれぞれ1
3, 1 2, 2
3であるとす る。今このどれか一つのコインを80回投げて、表が49回、裏が31回出たとす る。投げたコインはA、B、Cのどのコインであったと考えるのが一番尤もらし い（most likely）であろうか。それぞれ、A、B、Cのコインを投げたとき、表 が49回、裏が31回出る確率を求めてみる。Aを投げたときは、
( 80 49
) (1 3
)49( 1−1
3 )31
= 0.000 Bを投げたときは、
( 80 49
) (1 2
)49( 1−1
2 )31
= 0.012
Cを投げたときは、
( 80 49
) (2 3
)49( 1−2
3 )31
= 0.054
である。よって表49回、裏31回出る確率はコインがCであるとき最大である。
よって、投げたコインはCであるとする（いいかえればコインの表が出る確率 の推定値は2/3であるとする）のが最尤法である。
最尤原理とは、この例のように「考えられる母数の値のうち、今現在起きてい る事象が起きる確率がもっとも大きくなる値が、現時点では、その母数の推定値 として一番尤もらしい」という考え方である。このとき、「今現在起きている事 象が起きる確率」を尤度（likelihood）といい、尤度が最大になる母数の推定値 を最尤推定値という。
最尤推定値は一致推定量であることを示すことができる。したがって最尤推定 値は推定値として望ましい性質の一つを備えている。
また、最尤法は連続分布をする母集団に対しても、確率の代わりに確率密度を 使って尤度を定めることで用いることができる。たとえば正規分布にしたがう母 集団の母平均の最尤推定値は標本平均であり、母分散の最尤推定値は標本分散で ある。これを見てみよう。独立な確率変数X1, . . . , Xnの各々がしたがう正規分 布を
f(x|µ, σ) = 1
√2πσe−(x−µ)22σ2 とすれば、標本値x1, . . . , xnの尤度関数は、
f(x1, . . . , xn|µ, σ) =
∏n i=1
√1
2πσe−(xi−µ)22σ2 この対数（対数尤度）をとると、
L= logf(x1, . . . , xn|µ, σ)
=
∑n i=1
log 1
√2πσe−
(xi−µ)2 2σ2
=nlog 1
√2πσ−
∑n i=1
(xi−µ)2 2σ2
=−nlog(√
2πσ)− 1 2σ2
∑n i=1
(xi−µ)2
このLの最大を与えるµ, σ2を求めるために
∂L
∂µ = 0, ∂L
∂σ = 0 とおけば、µ, σ2の最尤推定値は
ˆ µ= 1
n
∑n i=1
xi σˆ2= 1 n
∑n i=1
(xi−µ)ˆ 2
となる（実際これらがLの最大値を与えることを示すことができる）。最尤推定 値σˆ2は不偏性を持たない。
上の議論を見方を変えて、データ(x1, y1), . . . ,(xn, yn)にy =f(x)を当ては めることに適用してみることができる。各xに対し、データyは真値f(x)を平 均とする正規分布
f(y|f(x), σ) = 1
√2πσe−(y−f(x))22σ2 にしたがうとする。データの尤度は、
f(y1, . . . , yn|f(x), σ) =
∏n i=1
√1
2πσe−(yi−f(2σ2xi))2 であるから、この対数（対数尤度）をとると、
L=−nlog(√
2πσ)− 1 2σ2
∑n i=1
(yi−f(xi))2 これを最大化するf は、
∑n i=1
(yi−f(xi))2
を最小化するf であるから、f の最尤推定は最小2乗法での解と一致する。
最尤法においてはこの議論でデータの分布を正規分布以外とすることができ る。この意味で最尤法は母集団の分布が分かっているケースでは最小2乗法を含 むより一般的な方法であると見ることができる。データの分布に正規分布以外を 仮定した最尤推定の例としては、たとえば「水産資源解析と統計モデル」（水産 学シリーズ97、恒星社厚生閣刊）の第1章がある。