EsTIMA TION IN］WP（TuRE、oF TWO，．．MuLTI−、
VARLATE NoRMAL：．DISTRIBUTIoNS．．．・ミ．
『 ・． BY．． ’ ・．”
YosJRo TUMURA AND RYuzo KANNO
1．Introduction． The problem．of estimation fbr a mixture of norlnal distribu−
tions has b㏄n studied in the uniVariate chsg by Pearson［4］， Rag．，［5］， Hasselblad
［3コ，C・h・n［1コ・nd・th…，yCt血tt1・w・・k h・・b・・n・d・n・i・th・’輌lti癒ate ca、6．
aside加m Wol飴［6］and Day［刀． Wolfe［6［］has discussed computational method
which is based on max㎞um likelihood method fbr estimating parameters of mix−
ture of r multivariate normal distributions， where the value ofアis known．．宜e
attempted to solve the maximum likelihood equations by tising ．the NeWton−Raphson
iteration． Howevef，・sin㏄the computations hlvolved ih the Newton−Raphso㎡
ite・ati・n・・e・ath・・c・mpli・at・d・h・d・v姪・d a叩pP・函m・ti・n gf th・N・硫・n・．
Raphson iferation subject to the condition that the overlap is su伍ciently small
between component distributions， in other words the comPonent、 distdbutions are
we皿separated． The met与od of moments has b㏄n discussed by Day［2］． How−
ever， sillce his procedure is rather comPlicateq and． pOotly suited fbr computation，
it would be desirable to血ld a simpler lnethod of Cstimation which．is based on the
method of moments．
−1・thi・p・p…we c・n・id・・the e・t㎞・ti・n f・・a眺t・・e・f tW・クー・a・iat・．・n・rmal
di・t・ib・ti・n・with・q・・1・gva・ian㏄m・tri・9・by th・m・th・d・f m・mr咋1・t喚
case， there are 1十2p十p（p十1）／2 unknown parameters which have to be estimated．
We here constru．ct the moment estimators by using Fisher’s k−statistics whose expecta−
tion is the cumulants of the distribution． It is easy to show that when we take
aset of kLstatistics；a皿the丘rst and s㏄ond， alトnOn−product of the．third and．only
one non−product of the．fburth， the．estimates are uniquely dCterm㎞ed by the method
of moments． Howev壷， in this cas6 we use onlY『『One亘OI1−product as the fburth
k・statistics， that． is，．we．get．only a small amount、of inC（）rmation丘om the fburth
k・st・ti・ti…．，H・n・e th…ヰ㎞・tQ・・bt・in・d価m．・thi・p・・㏄du・e・・a爬．n・t． d韓功1・inf，
tl s『．s・砲・nd…e・・1y・・ed aS，揃ti・1㏄t加誠…．，，＿一．一∫ ．．．．，．∵．
We improye．．on this procedure by usjng aU五〇n」product as thQ・fourth k・statiSticsl．。
that is， we use 3ρ十ρ（p十1）／21 k−statistics’ω、estimate 1十．2ρ十ρ（ρ十．1）IZ parameters：、
In this case the estimating equatiqns．．≠窒?D over−determined system． Hense the mo’
ment estimates are determined by thp lβast Sφares・method．：This estimating Procep
dure iS i11ustrated fbr a sqmple generalted’ by a computer，． and the estimates． are
［91］
92
Y．TUMURA AND R． KANNO
compared ・ with the maXimum．likelihood estimates o1）tained by using an approXima−
tion of the Newton・Raphson iteration desc亘bed by Wo浪［6］．
2．Construction of Moment Esti鵬tors． We． consider the est㎞ation of param−
←眠θ㌢Σ．andr2．σ￡−ttref・mixect p・variate．．’nomral』disnibution．with density ’
（2．1） ∫（x）−Zf（1）（⇒＋（1一λ）∫（2｝（x）， 0＜λ＜1，
where
②・） ∫…（・一欄iMlΣ1・xp［一丁（x−…））’S−1“一ひ・1）］・
エ＝（x1， … ， Xp）’， θ（s）＝（θ1（s）， … ，θpCs｝）’， Σ＝（σij）
ぷ＝1，2， 匡，ノ＝1，‥’，ク・ ．”
Let rcsl，＿，sg（il，…， ie）denote the（ぷ1十…十ぷ￠）−th cumulants of the marginal distribu−
tion∫（xi1，…， xig）． The cumulants of this mixed distril）utiOn are ，
（2．3）
where 1≦q≦P，ぷ1十…十ぷa＝r，
equation of the r−th degree inλ， fbr example，
（2．4）
κ、（i）＝Zθi（1｝＋（1一λ）θi《2｝，
κ2（i）−Oi2＋λ（1一λ）δi2，
κ11（i，ノ）＝ Oij十λ（1一λ）δ‘δi， （Z≒ノ）
rCs1，＿，Se（il， … ， ie）＝（7rδii1δi2s2… δiaSg， （r≧3）
1≦sg≦r，δi＝θi（1｝一θi（2｝and Cr indicates a polynomia1
C，−Z（1一λ）（1−2λ），
C4＝λ（1−Z）［1−6λ（1一λ）］，
C』＝λ（1一λ）（1−2λ）［1−12λ（1−X）］，
●●●●■●●●．●■■■■・．・・
Suppose that xk＝（x1克， 1，…，μis a sample f士om the miXed distril）u−
tion（2．1）and let k』1，＿，s4（i1，…，∫ロ）denote the（ぷ1十…十sa）−tb」ヒrstat拍tics of the compo−
11entsα∠1鳶，…，xiqk）ゐ・＝1，…，π． For example， the s㏄Ond k−statistics are shown
as．fbllows， ．
（2．5）
■ ● ■ ● ● ● ● ● ■ ◆ ● ■ ● ● ． ● ・ ・
●
1
k，（’）＝
n−1
，
餅
・▽ム
k＝1
1
k、、（f，ノ）＝
n−1
n
Σ（・， ・・）ぴ・ ・・）
i＝1
（∫キノ）．
Now we construct the moment estimators from the set of k−statistics：all the］趾st
and s㏄ond；k1（i）， k，（i）， kl1（i，ノ）and an non−product of the third and fburth；k，（i），
A ぷ メ
丸（．1），where∫，」＝1，…，ρ．∫≒ノ． Let f，θ（1｝，θ｛2｝，Σdenote the estimators ofλ，
θ“｝，θ（2｝，2respectively，’obtained by the method of moments． Furthermore in or一
ハ ろ
A
der to’ simplify， we writeδ‘＝θ，（1Lθ‘（2｝． Then the estimating equations are
（、．6）隠…雛織：㈹，’
田皿ATION IN MIXTURE（）F TWO “肌TIVARIATE NORMAL
べ A ハ ハ
ぱ霧：ii［1：；1：：蕊、）δ、、．
Now we introduce the transformations：
（2．7） ・ 〃＝（1一ズ）／∫， ρi＝∫（δi｛1）一δξ（2｝）．‘
Then we can rewrite（2．6）as fbllows：
A
（2．8）
ea）＝＝i＋uv，
A ゴ
θ（2LXrV，
A
Σt＝S一uvvノ，
A
ia’−1／（1・＋切・
93
and ・
…） ｛k3（i）−u（卜1）Vi3，k，（i）＝＝u（u2−4u十1）Vi、（ト1，…， P），
where
②1の・一
m；：］・・一［ll］一［1：i；］・・一［1：｛；；；：：：㌻］・
If u and vi（i1，…，P）are solved fbrm（2．9）， then we can obtain the moment
estimates by substituting them in（2．8）． However the simu丘aneous equations（2．9）
are over−deter㎡ned system． Thus we may solve them by the least squares method．
3．Esti皿ation of u and v． Now we eonsider the estimation of u．and vi（i＝1，
…，p）by the least squares method． ．
Let
カ
（・・1）R一Σ（［”（u一望｛i〒た3（’）］2＋［u（a2−4〃諸‘4−k’（’）］2）
i＝1
and let us find the values of u and vi（i＝1，…， p）fbr which R is minimuth． The
璽i帯蹴鷺麟es°’ut’°n°ftheequat’°ns｛霧＝叫’”・ ＆／ −°，
（3．2）
岳一
Gξ一（u・一・u＋1）・vl・／k42（・）＋・u（u−1）・vl・1k・・（・）
−4（u2−4u十1）Vi／k4（i）−3（u−1）／k，（i）＝0，
カ ♪
9P・・一 U一u（u・一・u＋1）（・u・一・u＋1）Σ農）＋u（u−1）（・u−1）Σ論
k＝1 k＝1
P P
−（・u・一・・＋1）Σ論一（・−1）Σ岩‘）．＝一…
h＝1 k＝1
Newton−Raphson iteration can be applied to the complete set of equations｛gi＝O，・
… ，gp ＝＝ O， gp＋1＝O｝de丘ned by eguations （3．2）． In this case， the pa】rtial derivatives
gl／i，（・≒ノ）・re・ze・…h・・w・・b・・…h・N・w・・n−R・p…ii・…a…n͡・W・・
（the prime denotes the revised value），
動 ．：一．．．．，lv−：『：．∵、 一Yc−TUMURA AND R．．．K∠4mNo・一二『イニ．：二’・「
（3．3）
’
1
・．・⋮
Vp’
’
ユ
◆・⋮●
vク
∂9i．
∂ρ1
0
．
Q
∂島
∂9ラ＋t
∂Ve．
＿＿∂9P・．’i．
∂9i
r︻−卜弓r
G∂u
．：
『：．．
∂9P
∂u
∂9e＋1
∂Vl、 ∂Vp ∂μ
After some computation， we obta血the folloViing results
（・・4） ’隠；∴’ギβ’ち（ノ＝1・’”・P）
where ． ．． ・
（3．5）
91
・・．◆⋮
9P＋1
●
a・＝gj／；；・
・一m9P…
・ 元魯1
β’一霧／
∂9i
∂Vj’
か
Σ9k∂篇i1／；髪］／［∂嵩・一璃∂i’＃：；i・／；篇］・
L 、
鳶＝1
4． Initia1：esti皿ates ／ ．for the．iterat佃n皿et・ho己．．Ne文t．weεohsidef．the con§true
tion of initial．． est㎞ates臨the iteration．鵬thod deSc士ibed above． We can CohstruCt
the initial estimates from the set of．k−statistics k1⑦， k2⑦， kl1（i，ノ）， k3（i），（i，ノ＝1，
2，・∴・，ク・’．i≒・ノ）．and bnly one hon−product， say，． k，（k）， whereゐis a fixed Value as
1≦k≦ρ，．by the method of moments． It should be noted that We’use hCre・only
㍑蒜、麗蕊、＝c㌫；＝蹴蕊監
the s㏄ond k−statistics， p eq．uations丘om‘the third．．．k−statistics， and『 盾獅撃凵@one”e輌a−
ti°吐・m thg・f…t睦・t・ti・ti・・：By．．桓｛・・d・・i・g th・・砲・t・a・命m・ti・n・（2・7）・int・
th・se．・q・・亘・…．w・h・v・．②8）・nd・th・．鎚bwi・g・e・ult・．．．’
‘（4」」 ’ ・k，ω一娠一1）v、3， （iキle） ． ’． ．
（…） ｛篇：㍑翠1）Vi、∴、鋼 l
Without loss of generality let us suppose thatθ鳶（1｝〉θk（2）where．’k is a：丘xed value．
Accordingly vk＞0． We ’ intfoduoe． @the血rther tranSforniat’ion x＝＝uvk2 into（4．2）， we
get the缶nOWmg c⑰ir q睡iCn：’、．・．＿．・．一・，・＿．｝
諭・．… ＋t’・・（・）x一芒・・θ一α ‘．i
It i・clea・th・・unles・k・θ≡0・也ab・v・9・blc・q磁i6・ha…i・gl⇒・i・i・・…t・
Thus by using the value of x， we「． have uniquely t｛． ご
遍一’．tt
ﾟ忽耀；雲隷∴二』：∵三：，；、
ahd§。b、tit。ting・th。 valu6。f唖t・杣， w。9。t・・．’． ∵．’∴：「∴
（4・5） 砂F皇｛丁．’』（∫醐” 一 ．一 ．：
ES1旺MATION IN・輌【DζTURE．δF，TW’〇二MULTIVARIATE NORMA工
95
’．F：rrhese gvalueS bf∬・a五d vi・（∫」二iジ c・・」：、ρ）：may：be：・tisCd a6’initia1・．for．the・iteration
meth6d desc｝ibed abov6．： Furtherhlo｝e We Can．．6bt滋五th6． mitial est血亘ates．of、θm，
θ｛2｝，Σ，λ by s司）stitut口1g the values of〃and仇：（i＝三1，∴・・；；㍉ρ）．・．i亘to．（2．8）L 』−
1・ab・v・p・蝋・・e W・嘩：6㎡y』hC．ゐ一・h卿pP騨・・th・f・u・・h・k−…as・輌…
Hence the est㎞ates from t砧s‘pro㏄dure are llot optimal in any sense， and were
・㎡y・・ed・・i岨輌・t・・． Th・・e lni賦幽亘缶・℃1・・ie・…；e・・1， E，λJ・inay・b6’ ti・ed
f…h・i・e・a画血・・h・dl ・1・ th・・m・xim・m低輌・・d・・1・亘・n噛h醐b・d・・c・ib・d
血the later section．
5．．．N㎜eriCal exqmple． To iUustrate the procedurg described above， we consider
．．・．．緬p1Cg・嚇Cごby・’・qmp・te・・T垣・・mpPt・ti。・S W・・e・㎜ρn・n・IBM’1629
u亘ng Programs．wW亘tten m FqRTRAN IL The data．in Table．1giye、the丘equency
dist輌tion of 300．observations from a bivariate㎡ked no㎜al distribution with
（・・1） ・一・・・・・…一［1：；］，．θ・・」［：！：；］，X−［1：lll：…1］・
The values of k−statistis are
（5．2）
k，（1）＝0．172869，
k2（1）＝1．397716，
k，（’1）rO．547522，
k，（1）＝＝−1．598951，
Table 1．
ノヒ1（2）＝−0．000598，
ノ22（2）＝2．909374，
k3②＝2．060031，
k，（2）＝−7．623004．
kll（1，2）＝1．668427，
F「equencies for 3000bser▼ations血bm．a Bi▼注riate
Mixed Normal Distribution
4．0∼
3．5∼
− 3．0∼
2．5∼
2．0∼
1．5∼
1．0∼
’O．5−“
0．0∼
−0．5∼
4．5
4．0
3．5
3．0
2．5
2．0
1．5
1．0
0．5
0．0
一1．0∼−0．5，
−1’：5∼』−1．．0
−2．0∼−L5
−2c5∼．−2．0
−3．0∼−2．5
三3．5∼−3．0
Total、
一2．5
∼
L2．0
︹∠−▲
3
一2．0
∼
二1．5
−・ウ緬522
12
5
0
・ ●
−∼11
148477．1
32
一1．0
’∼
LO．5
17’8
17’
・8
12
1
1
55
一〇．50．0
∼ ∼
0．0 ’O．5
1
13
3
．4
9
．15
’8’
2：
4
49．
1
2113699311
37．
0．5
∼
1』．「0
26446・423
31
1．0
∼
1．5
21㌧7＝2﹂、653
．︵乙
28
1．5 ∼
2．0
80ノ■3︵321
28
2．0
∼
2．5
2︹乙17’31ふ3
19
2．5
∼
3．0
ワ句う鍾
1
5
3．0 ∼
3．5
1
1
Total
へ
226加．2715181919ガ4142825陥1
300
96 ． ． Y．TUMURA AND RI KANNσ・．
At血：st We construct the initial estimates丘omφght k−statistics k1（1）， k，②，毎（1），
k2（2）， k，（1，2），一・k，（1），編（2）， k4（1）もy the method described in the previous section．
．．
she results are given as fb皿ows： 一
（・．・） 詞・7511ク・，V−［！：1鵠1］
and from this we have initial estimates：
・・一・・36・481，θ①・一［；：li；；；9］，・・…一［：！：｛；1；1；］・
（5．4）
Σ・一［9：2器3：瀦；｝
When theSe values of u and vi C＝1，2）were used as initial fbr the iteration
scheme given by （3．4）， the iteration converged in 3 iterations to a criterion of
l（〃‘−v！）／v！1≦9・001，K〃一〆）！u’1≦0・001 and one iteration tpok about three second・
The results were
（5・・） 垣…8159，v−［！：1瓢・
Substituting these values into（2．8）， w『can obtain the moment estimates ofλ，
θ（1｝，θ（2｝，Σ． The resUlts are shown in the third column of Table 2．
Next let us consider the maXimum like血06d est㎞ates． By usi lg Woife’s com−
putational method， we Can obtain the f｛）110wing iteration scheme：
（5．6）
λ’＝μoωλ，
θ‘（s｝’＝μi（s）／μo（s｝， （∫＝1，2）
カ
・・メー÷Σ』一・’・・…’・・…’一（1−・’）・・・…’・…
鳶＝1
where the prime qenotes the revised value， and
（5．7）
・…L÷Σ駕・
k；1
P・・ls・一
?ｰ・・鵠）・
k＝1
We also used the values given by（5．4）as initial for the iteration． The iteration
converged in 7 iterations to a criterion of
K、λ一Z’）／λ’1≦0．001， 1（θ‘（s）一θi（s）’）ノθi（s）’1≦0．001， 1（σ‘」−Oij「）／σii’1≦0．001
and o皿e iteration took about 53 second． We obtained’ 狽??@maximin likelihood
est㎞ates as shown in the fburth column of Table 2．
It should be noted that Wolfe’s computational method can be used only when
the component distributions are we皿separated． In concluding， it is deemed appro−
priate to emphasize that the moment method presented in this paper is superior to
max㎞um likelihood both in the simplicity and in the rapidity of computation．
ESTIMAT】［〈）N IN MIXTURE OF TWO MULTIVARIATE NORMAL
Table 2． Comparison of Estimates
97
Parameters
え
θ1（1｝
θ2（1｝
θ1（2｝
θ2（2）
σ12
σ12
σ22
0．4
1．5
2．0
−．O．5
−1．0
0．50
0．25
0．74
Initial eStimateS
0．363481
1．480364
2．032993
− 0．573769
− 1．161872
0．421490
0．150067
0．547815
Moment est㎞ates
・ 0．356105
1．496388
1．991426
− 0．559100
− 1．102285
0．428940
0．210324
0．714787
Max㎞um like−
1ihoodL estimates
0．364378
1．448481
1．905098
＿ 0．558640
− 1．093436
0．460075
0．268998
0．817250
［1］
［2］
［3］
［4］
［5］
［6］
REFERENCES
COhen， A． C．（1967）：Estimation in mixtures of two normal distributions．7セc加o・
7ηθヵゼcぷ，9． 15−28． ．
Day， N． E．（1969）：Estimating the◎omponents of a mixture of normal distributions．
Biometiゼ肋，56． 463−474．
Hasselblad， V．（1966）：Estimation of parameters fbr a mixture of normal distribu−
tions． Technometア匡cぷ，8． 431∼444．
Pearson， K（1894）：Contributions to the mathematical theory of evolution． P万1．
Tranぷ． Rργ． Soc．，185∠t． 71−110．
Rao， C． R．（1952）：Advanced Sta’iぷ’ゴcal Me’hods in Biometric Research． New York：
W鉦ey．
Wolfe，」． H．（1％7）：NORMIX−Computational methOds for est血ating the p殿meters
of multivariate． no血al mixtures of distributions． T㏄㎞ical Report， U．S． Naval
Personnel Research Activity， San Diego， Ca血こ 1−31．
、
