0506

(1)

講義資料＠慶応大学 2005.5.6 by K.Kurihara

３

３ 章

章

多変量解析

part1

重回帰分析

判別分析

２章

part2

の復習

・推定区間推定平均値（母分散が既知or未知） 分散・検定基準値との検定（平均値、分散）２つの集団間の検定（母分散が等しい場合、異なる場合）講義資料＠慶応大学 2005.5.6 by K.Kurihara

・重回帰分析、判別分析

⇒多変量解析の中で、目的変数と説明変数との

関係を数式化する手法

解析目的，解析方法，結果の見方を理解する

例えば、 ☆加速性能⇔車重、エンジン出力、ギア比、‥の関係 ☆異音発生の有無⇔ギアの形状特性値

今回の授業の狙い

多変量解析

（

multivariate analysis

）

多変量データ

を分析する

統計手法の総称

総称

多変量解析手法の分類

表3-1 多変量解析の種類と分類目的変数データ形態解析手法の有無目的変数説明変数有り無しカテゴリーデータ数量化Ⅲ類数量データ数量データ重回帰分析重回帰分析正準相関分析カテゴリーデータ数量化Ⅰ類カテゴリーデータ数量データ判別分析判別分析カテゴリーデータ数量化Ⅱ類主成分分析数量データ因子分析数量化Ⅳ類講義資料＠慶応大学 2005.5.6 by K.Kurihara

回帰分析

(Regression

Analysis

）

要因間への関係式のあてはめ

単回帰分析：1つの説明変数Ｘで、目的変数Ｙを説明する。単回帰式Ｙ＝β0＋β1・Ｘ＋ε 回帰式による予測値Ｙ’α＝β0＋β1・Ｘα Ｘ：パワーウエイトレシオＹ：最大加速度Ｙ＝β0＋β1・Ｘ＋ε

(2)

講義資料＠慶応大学 2005.5.6 by K.Kurihara 回帰式を求める際、誤差には４つの仮定をおく。 (1) 不偏性 期待値がゼロである。（足すとゼロ） (2) 等分散性 分散が一定である。 (3) 無相関性 誤差εが互いに無相関である。 (4) 正規性 誤差εが正規分布に従う。上記の仮定を満たす β0,β1を求めることが回帰分析の直接の作業Ｘ σ Ｙ σ Y＝β0＋β1X

回帰式の前提条件

講義資料＠慶応大学 2005.5.6 by K.Kurihara x：体重[kg] ｘ α Y＝β0＋β1ｘ 160 170 180 58 63 68 73

Y

_α

Ｙ

’

α ｙ：身長 [cm]

残差（

Residual

）

実測値Ｙと予測値Ｙ’の差を残差と呼ぶ

ε

α＝

Ｙ

α

－Ｙ’

α

残差：ε

α 講義資料＠慶応大学 2005.5.6 by K.Kurihara 偏差の絶対値の和：回帰線からの距離が配慮されない 2 -1 -1 0 0 3 偏差の総和：０（不定）

回帰式の考え方

…

最小二乗法

• 符号問題の解決

• ２乗すると，大きい残差は，より大きく強調される

ので，大きい残差を排除しようとする

• 代数的（数学的）に扱いやすい。（変動の分解）

• 理論的な理由

（１）ガウスーマルコフの定理（２）漸近理論ー最大尤度基準ー最尤法講義資料＠慶応大学 2005.5.6 by K.Kurihara ｎ組のＸ,Ｙのデータに対して、残差変動（Ｓe）を最小にするβ0,β1を求める。 e n n S = ∑ − = ∑ − − =( α ' ) =( ) α 1Υ Υα α Υα β β Χα 2 1 0 1 2

最小二乗法による回帰式の導出

式(3-4) n Se = ∑ =( α Υα 2_＋β₀2 _＋β₁2 _Χ_α2 _{− 2 Υ}_α_β₀_＋₂_β₀_β₁_Χ_α −2 Υαβ 1 Χ α ) 1 求めるβ0,β1は上記Ｓｅをβ0,β1で偏微分し，これを0とした連立方程式の解となる．Ｙ’α＝β0＋β1・Ｘα 講義資料＠慶応大学 2005.5.6 by K.Kurihara ∂ βe S 0= ∂ n α =1

Σ

(2 β 0− 2 Υα ＋2 β 1 Χα )＝ 0 n

Se =

∑ =( α Υα2＋β 02 ＋β12 Χα2 − 2 Υαβ 0 ＋2 β 0 β 1 Χα −2 Υαβ 1 Χ α ) 1 n α =1

Σ

Υα- n β 0-β 1

Σ

Χα ＝0 n α =1 Y=β₀+β₁X 式(3-6) ＝β 0+ β 1 n α =1ΣΥα n n α =1ΣΧα n β β α α n Y ₀ ₁X 2∑( − − )(−1)=0 α =1 －β 1 n α =1ΣΥα n n α =1ΣΧα n β 0＝求める回帰直線はX,Y各々の平均値を通る

(3)

講義資料＠慶応大学 2005.5.6 by K.Kurihara βe S 1 = ∂ ∂ Σ( 2 β 1Χα 2 _＋₂_β₀_Χ_α₋₂_Υ_α_Χ_α_{) =0} α =1 n n

Se =

∑ =( α Υα 2_＋β₀2 _＋β12 _Χα2 _{− 2 Υα}_β₀_＋_{2 β}₀_β₁_Χα −2 Υαβ 1 Χ α ) 1 β β α α α 2 ∑ ( Y − ₀− ₁X )(−X )= 0 α =1 n ΣΥαΧ α －β 0 ΣΧα －β 1ΣΧα2 =0 α =1 n α =1 n α =1 n ΣΥαΧ α －( ) ΣΧα －β 1ΣΧα2 ₌₀ α =1 n α =1 n α =1 n －β 1 n α =1ΣΥα n n α =1ΣΧα n ΣΥαΧ α－ _n n α =1 ( ΣΧα)2 n n α =1ΣΥα n α =1ΣΧα _{= β 1}_Σ_Χ α2_－_{β 1} を代入する－β 1 n α =1ΣΥα n n α =1ΣΧα n β 0＝講義資料＠慶応大学 2005.5.6 by K.Kurihara 整理すると残差変動(Ｓe)が最小の回帰直線 1 0 1

β

=

−

=

−











xy xx xy xx

S

Y

X

Y

S

X

= Sxx ( ) α β Xα n X n = ∑ − 1 2 1 2 Sxy ( α ) α X Yα nX Y n = ∑ − 1 式(3-8) ΣΥαΧ α－ _n n α =1 ( ΣΧα)2 n n α =1ΣΥα n α =1ΣΧα _{= β} 1ΣΧα2_－_β₁ 講義資料＠慶応大学 2005.5.6 by K.Kurihara

回帰式：公式

=

Ｓ

xx

Ｓ

xy

β

₁ Sxx,Syy：偏差変動

Sxx

Xi

X

Syy

Yi

Y

i n i n

=

∑

-=

∑

-= =

(

)

(

)

2 1 2 1

Sxy

Xi

X Yi

Y

i n

=

∑

-

-=1

(

)(

)

Sxy：偏差積和

式(3-8)

β

₀

= ｙ－ β

₁

ｘ

EXCEL

による回帰分析

回帰係数 = linest(セル範囲ｙ,セル範囲ｘ) 切片 = intercept(セル範囲ｙ,セル範囲ｘ) 講義資料＠慶応大学 2005.5.6 by K.Kurihara

重回帰分析の求め方

定数項、および各偏回帰係数の求め方単回帰の式と同じ最小二乗法（詳細は配布資料参照方）手計算はほとんど不可能

現在はソフトウエアがあり容易

重回帰分析

◆多変量解析の中で、全て数量データを扱う一手法 ◆複数の説明変数：Ｘiで目的変数：Ｙを表す。 β1 ，… ，β1：偏回帰係数 β0 ：切片 ε：誤差重回帰分析：複数の説明変数Ｘで目的変数Ｙを説明する。重回帰式:Ｙ＝β0＋β1・Ｘ1 ＋β2・Ｘ2 ＋…＋βi・Ｘi ＋ε 予測値Ｙ’α＝ β0＋β1・Ｘ1 ＋β2・Ｘ2 ＋…＋βi・Ｘi ★目的変数への影響要因の分析 ★目的変数の予測 ★影響要因のコントロール

(4)

講義資料＠慶応大学 2005.5.6 by K.Kurihara ◆説明変数の目的変数に対する影響力を示す。 ◆この係数には単位がある。従って、その大きさは単位に左右される偏回帰係数の直接比較することは危険

偏回帰係数の意味

◆各変数を平均０，分散１になるように基準化した上で、単位に無関係な回帰係数を求めたもの ◆大事な説明変数のランキング（順番）を示すと考えればよい。標準偏回帰係数講義資料＠慶応大学 2005.5.6 by K.Kurihara

分散分析

(Analysis of Variance)

Ｓ

Ｔ

＝

Ｓ

Ｒ

+ Ｓ

ｅ

(全変動) ＝(回帰変動)+(誤差変動)

=

Ｓ

xy xx 2

Ｓ

Ｒ

＝ Σ( Y’

α

- Y )

2 i = 1 n

Ｓ

Ｔ

= Ｓｙｙ＝Σ( Y

α

- Y )

2 i = 1 n 実測値Ｙαの変動：データそのものの変動推定値Ｙ’αの変動：回帰式により説明される変動

Ｓ

ｅ

＝Ｓ

Ｔ－

Ｓ

Ｒ解析式で説明できない変動

式(3-18)

分散分析（３）

要因ｆＳＶ F0 回帰１ SR VR VR/Ve 残差 n － 2 Se Ve 全体 n － 1 S T 表3-2 分散分析表ＳｅＳＴＳＲ回帰式の統計的な検証方法分散分析Ｆ検定分散分析のイメージ回帰式の有意性 → 分散比(Ｆ0)をＦ検定で判断Ｆ0＝ＶＲ／Ｖｅ＞Ｆ(１,n－2,α) であれば、ＳＲがＳeに対して100(1－α)％で有意講義資料＠慶応大学 2005.5.6 by K.Kurihara

重回帰分析の実施手順

重回帰分析手法固有技術データの確認回帰式の仮説立案重回帰分析の実施回帰式の確認標準化への落とし込み解析の流れ講義資料＠慶応大学 2005.5.6 by K.Kurihara 取り上げる変数は何か？変数は質的、量的？データの取得範囲は？変数間の関係から回帰式の仮説を立案し，分析を通じて仮説を検証する重回帰分析では目的や仮説によりデータの取得方法が変わる．過去の知見や情報よりQCストーリやFTA，QFD等を活用し，目的，仮説を十分吟味し整理する事が重要となる．

回帰式の仮説立案

重回帰分析をどう使うのか？講義資料＠慶応大学 2005.5.6 by K.Kurihara

回帰式の仮説立案（２）

回帰モデル ← 理論式，仮説，データの確認結果回帰モデルはβiに関する一次式

X

1 2 2 p p 1 0

Y

=

β

+

β

+

β

+

L

+

β

Xに関しての高次成分 → 変数の変換 → 一次式のモデル etc X / X X' X X X' X X' 2 ₁ ₂ ₁ ₂ 1 、 = × 、 = 、L = 解析検討の効率化の為に不可欠 0 2 4 6 8 10 0 20 40 60 80 100 X^2 Y 0 2 4 6 8 10 0 0.5 1 Lｏｇ X Y 0 2 4 6 8 10 0 10000 20000 30000 exp X Y

(5)

講義資料＠慶応大学 2005.5.6 by K.Kurihara 取得したデータをそのまま重回帰分析ＮＧ取得したデータの素性を把握する基本統計量各変数のヒストグラム各変数間の散布図

データの確認

講義資料＠慶応大学 2005.5.6 by K.Kurihara 相関係数で二組のデータの関係をチェックする

S

r

yy xx xy

=

説明変数同士の相関が強い場合、問題が起る

データの確認（２）

式(2.5) 15 10 5 0 10 15 Ｘ2 ｘ1 5

Ｙ＝ β

0＋β1

Ｘ

1

Ｘ

1

≒ｃ

Ｘ

2 固有技術ではＸ１、Ｘ２共に正の相関を持つことが分かっている講義資料＠慶応大学 2005.5.6 by K.Kurihara

Ｘ

1

、Ｘ

2を両方取り上げて回帰式を作成

Ｙ＝ β

0＋β1

Ｘ

1＋β

2 Ｘ

2

多重共線性

β1＞０、β2＜０ ?? 偏回帰係数の符号がおかしい Y：体重 X1：身長 X2：足の大きさ

データの確認（３）

一般的な目安 0.8＞｜ｒ｜ならばどちらかの変数を解析から外し、変数を１つに絞り込む相関係数がいくつ以上で多重共線性に注意すべきか？講義資料＠慶応大学 2005.5.6 by K.Kurihara ★寄与率（決定係数）： R2 目的変数の全変動のうち，回帰により説明できる割合を示す. 寄与率は重相関係数Rの 2 乗に等しく，０～１の範囲の値をとる．重回帰式の評価尺度

重回帰分析の実施

式(3-19) Ｒ２_＝ＳＲ _{＝１－Ｓｅ／Ｓｔ} Ｓ_Ｔ回帰計算 → 解析ソフトで行う．その際，変数をどう取捨選択するかがポイント寄与率R2 _{が大きい ≠ 良い回帰式} 多くの変数から有効な変数を選び出す尺度は？ ☆２重自由度調整済寄与率 ☆F値 ※）どのような説明変数でも回帰式に取り入れると寄与率は1 に近付く． 講義資料＠慶応大学 2005.5.6 by K.Kurihara ★２重自由度調整済みの寄与率（R’’2_）式(3-22）

V

'

V

1 )

1 n

(

S

)

1 n

(

)

1 p

n

(

S

)

1 p

n

(

1 ''

R

T e T e 2

₌

₋

−

+

−

+

−

=

重回帰分析の実施（２）

取り上げた変数の数 1 2 3 4 5 6

R'

2

R

2

R’’

2

1

R2_{≠ 1 である限り，R}_’’2_は R2_{よりも小さい。} R’’2_{が増加する限り，追加} された説明変数は有効講義資料＠慶応大学 2005.5.6 by K.Kurihara

)

2 p

n

(

S

F

2 e R 0

−

∆

=

重回帰分析の実施（３）

取り入れた変数が残差に対して有意な効果が有るかを表す指標

分散比

F

値

：説明変数p個 _{回帰変動Ｓ}_R1 回帰変動ＳR2 残差変動Ｓe1 残差変動Ｓe2 説明変数を１個増やしたことによる残差変動の減少分 ΔＳR 説明変数p+1個全変動ＳＴ残差変動の減り分と残差変動の分散との比

(6)

講義資料＠慶応大学 2005.5.6 by K.Kurihara F値での変数の手動選択方法 F≧2を取り上げ，F<2を捨てる。 その際、偏回帰係数の符号が知見に合うか確認。 R’’2_{極大に相当する。} R’2_{極大よりも変数が少ない} 重回帰分析では無意味な変数を取り上げると、信頼性が低下する。変数選択を確実に行うこと。ちなみにR’2_極大は、 F≧1を取り上げ，F<1を捨てる方法に相当

重回帰分析の実施（４）

回帰式の確認

求めた式が統計的に正しいか検討残差の仮定が成立するか検証不偏性，等分散性，無相関性，正規性残差のヒストグラム各変数と残差の散布図残差の検討 0 1 2 3 4 5 -1.715 0.857 -2.572 -0.857 0.000 1.715 2.572 26 26 27 28 29 30 31 27 28 29 30 31 予測値実測値講義資料＠慶応大学 2005.5.6 by K.Kurihara ☆残差のヒストグラムで正規分布とならないとき ☆予測値と実測値との散布図で際立った特徴がある外れ値因子の見落とし因子の高次効果固有技術と照らし合わせモデルの再検討が必要 ☆残差の大きさ要求精度を満たす回帰式かを判断する

回帰式の確認（２）

別のデータで確認して始めて以後の検討に活用できる ☆別データでの再現性確認結果の残差が解析時の残差と同程度講義資料＠慶応大学 2005.5.6 by K.Kurihara

【

実施例

】

切削加工条件の最適化

＜概要＞部品表面を切削加工することで表面を滑らかにする．表面状態は加工時の切削抵抗と密接に関係しており，切削抵抗を下げることで表面を滑らかにできる．そこで加工条件を変えて切削抵抗を計測した．重回帰分析を行い切削抵抗と加工条件の関係式を求める．得られた関係式に従い，部品の表面状態を改善する．講義資料＠慶応大学 2005.5.6 by K.Kurihara 刃先種類刃先形状送り量回転数切削抵抗Ａ 0.8 50 8.8 509.0 Ａ 0.8 75 13.3 365.0 Ａ 1.2 75 13.3 395.4 Ａ 1.2 100 17.7 369.9 Ａ 1.6 50 13.3 468.7 Ａ 1.6 75 17.7 372.6 Ａ 1.6 100 8.8 481.0 Ｂ 0.8 50 17.7 508.2 Ｂ 0.8 100 13.3 500.0 Ｂ 1.2 50 13.3 529.7 Ｂ 1.2 75 17.7 513.9 Ｂ 1.2 100 8.8 585.5 Ｂ 1.6 50 17.7 511.2 Ｂ 1.6 75 8.8 553.6 Ｂ 1.6 100 13.3 542.2 表3-3　切削抵抗の要因とデータ加工条件を変えて切削抵抗を計測した．重回帰分析を行い切削抵抗と加工条件の関係式を求める．得られた関係式に従い，部品の表面状態を改善する．

【

実施例

】

：計測データ

講義資料＠慶応大学 2005.5.6 by K.Kurihara 説明変数名分散比偏回帰係数定数項 164.8 604.308 刃先種類 54.9 Ａ 0 Ｂ 113.243 刃先形状 1.3 + 送り量 2.2 -0.565 回転数 21.2 -10.461 表3-5　算出した回帰式の係数表

Ｙ＝604.308＋113.243ｘ

₁

－0.565ｘ

₂

－10.461ｘ

₃

【

実施例

】

：重回帰分析の実施

Ｙ：切削抵抗ｘ1：刃先種類 (刃先Ａの場合ｘ1＝0，刃先Ｂの場合ｘ1＝1）ｘ2：送り量ｘ₃：回転数得られた回帰式 R'2 _R''2 0.931 0.866 0.83 0.798 11 29.427 残差標準偏差自由度調整済み寄与率表3-6　求めた回帰式の評価指標重相関係数Ｒ寄与率 R2 残差自由度

(7)

講義資料＠慶応大学 2005.5.6 by K.Kurihara -44.1 -29.4 -14.7 0.0 14.7 29.4 44.1 58.8 -58.8 0 2 4 6 0 2 4 6 ａ) 残差のヒストグラム 281.8 465.5 649.2 281.8 465.5 649.2 回帰式による予測値実測値ｂ）回帰式による予測値と実測値の関係図3-5 回帰式の確認

【

実施例

】

：

回帰式の確認

判別分析

(

Discriminant

Analysis)

★説明変数のデータに基づいて、そのサンプルがそのカテゴリーに属するか判定（予測)する手法。 •目的変数が質的データ •目的変数が２値型の例 –アメリカ人群と日本人群 –セダン購買層とミニバン購買層 –ブッシュ支持派とケリー支持派区別点：重回帰分析に対して、目的変数⇒質的データ説明変数⇒数量データ講義資料＠慶応大学 2005.5.6 by K.Kurihara x1

判別分析のイメージ

判別関数

z＝a

₁

x

₁

＋a

₂

x

₂ A B 抵抗 X2 膜厚 X1 ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●

・

ロットA

・

ロットB 講義資料＠慶応大学 2005.5.6 by K.Kurihara

判別分析の種類

判別分析の２つの手法

１）線型判別関数を用いる方法前提）２群の共分散行列が同じ＝散らばりの大きさや相関が２群でおなじ特性値が正規分布であるメリット）説明変数の有意性がわかりやすい．デメリット）前提条件がより厳しい２）マハラノビスの距離を用いる方法前提）特性値が正規分布であるメリット）特性間の確率分布、相関関係が診断に考慮されるデメリット）計算が複雑になる講義資料＠慶応大学 2005.5.6 by K.Kurihara

線型判別関数

受験者筆記面接 1 50 90 2 60 50 3 80 60 4 100 60 5 90 80 6 30 70 7 70 60 8 50 80 9 70 40 10 70 80 合否判定合格不合格合格合格合格不合格不合格合格不合格合格得点表3-７　試験結果筆記試験面接試験 20 40 60 80 100 20 40 60 80 100 合格不合格不合格合格図3-6　試験結果の散布図受験者筆記面接 1 50 90 2 60 50 3 80 60 4 100 60 5 90 80 6 30 70 7 70 60 8 50 80 9 70 40 10 70 80 合否判定合格不合格合格合格合格不合格不合格合格不合格合格得点表3-７　試験結果受験者筆記面接 1 50 90 2 60 50 3 80 60 4 100 60 5 90 80 6 30 70 7 70 60 8 50 80 9 70 40 10 70 80 合否判定合格不合格合格合格合格不合格不合格合格不合格合格合否判定合格不合格合格合格合格不合格不合格合格不合格合格得点表3-７　試験結果筆記試験面接試験 20 40 60 80 100 20 40 60 80 100 合格不合格不合格合格図3-6　試験結果の散布図筆記試験面接試験 20 40 60 80 100 20 40 60 80 100 合格不合格不合格合格 20 40 60 80 100 20 40 60 80 100 20 40 60 80 100 20 40 60 80 100 合格不合格不合格合格図3-6　試験結果の散布図例）次年度の受験指導のために，学校の入学試験結果を予測したい

Ｚ＝a₀＋a₁ｘ₁＋a₂ｘ₂

線型判別関数（２）

判別関数の係数の求め方

関数から推定した結果と実際の結果ができるだけ一致するように係数を決める． (1) 群毎にサンプル数，平均，分散，共分散を求める (2) プール後の分散・共分散を求める分散・共分散は群間でサンプル数の違いがある場合，加重平均をとったプール後の分散・共分散を求めるＳ₁₁＝｛(n₁－1)Ｓ₁₁₍₁₎＋(n₂－1) Ｓ₁₁₍₂₎｝／（n₁＋n₂－2）Ｓ22＝｛(n2－1)Ｓ22(1)＋(n2－1) Ｓ22(2)｝／（n1＋n2－2）Ｓ₁₂＝｛(n₁－1)Ｓ₁₂₍₁₎＋(n₂－1) Ｓ₁₂₍₂₎｝／（n₁＋n₂－2）Ｓ21＝｛(n2－1)Ｓ21(1)＋(n2－1) Ｓ21(2)｝／（n1＋n2－2）

(8)

講義資料＠慶応大学 2005.5.6 by K.Kurihara 表 3- 8 分析準備群1 変数 x1 サンプル平均分散共分散ｎ1 サンプル数Ｓ11(1) Ｓ12(1) 平均分散共分散Ｓ22(1)Ｓ21(1) 変数 x2 ｘ1(1) ｘ2(1) 群1 変数 x1 サンプル平均分散共分散ｎ1 サンプル数Ｓ11(1) Ｓ12(1) 平均分散共分散Ｓ22(1)Ｓ21(1) 変数 x2 ｘｘ群 2 ｎ2 x1(2) Ｓ11(2) Ｓ12(2) x2(2) Ｓ22(2)Ｓ21(2) 群 2 ｎ2 1(2)1(2) Ｓ11(2) Ｓ12(2) xx2(2)2(2) Ｓ22(2)Ｓ21(2) a₁,a₂は次の連立方程式から求められる a₁Ｓ₁₁＋a₂Ｓ₁₂＝Ｘ₁₍₁₎－Ｘ₁₍₂₎ a₁Ｓ_２1＋a₂Ｓ₂₂＝Ｘ₂₍₁₎－Ｘ₂₍₂₎ 定数項a0は次の式で求められる．ここで上記データから線型判別関数を求めた結果を示す． Z ＝ - 0.205 Ｘ1 - 0.365 Ｘ2 ＋ 37.129 ２）Ｘ＋Ｘ（）＋ａＸ＋Ｘ（ａ a １１（１）１（２）２２（１）２（２） 0=

線型判別関数（３）

講義資料＠慶応大学 2005.5.6 by K.Kurihara 受験者筆記面接 1 50 90 合格 -6.0 2 60 50 不合格 6.6 3 80 60 合格 -1.2 4 100 60 合格 -5.3 5 90 80 合格 -10.5 6 30 70 不合格 5.4 7 70 60 不合格 0.9 8 50 80 合格 -2.3 9 70 40 不合格 8.2 10 70 80 合格 -6.4 得点判別得点合否判定表3-9　判別得点全データを適切に判別できた

線型判別関数（４）

講義資料＠慶応大学 2005.5.6 by K.Kurihara 1 2 ．．．ｉ．．． m サンプル 1 2 ．．．ｉ．．．ｎ変数 1 2 ．．．ｉ．．． m 1 2 ．．．ｉ．．． m 表3- 10 判別分析データ 1 2 ．．．ｉ．．．ｎ 1 2 ．．．ｉ．．．ｎ x1 x2 … xj … xp x11 x12 … x1j … x1p x21 x22 … x2j … x2p ．．．．．．．．． xi1 xi2 … xij … xip ．．．．．．．．．．．．．．．ｘｍ1 ｘｍ2… xnj … xnp x11 x12 … x1j … x1p x21 x22 … x2j … x2p ．．．．．．．．． xi1 xi2 … xij … xip ．．．．．．．．．．．．．．． xn1 xn2 … xnj … xnp x1 x2 … xj … xp x11 x12 … x1j … x1p x21 x22 … x2j … x2p ．．．．．．．．． xi1 xi2 … xij … xip ．．．．．．．．．．．．．．．ｘｍ1 ｘ … xnj … xnp x11 x12 … x1j … x1p x21 x22 … x2j … x2p ．．．．．．．．． xi1 xi2 … xij … xip ．．．．．．．．．．．．．．．ｘｍ1 ｘ … xnj … xnp x11 x12 … x1j … x1p x21 x22 … x2j … x2p ．．．．．．．．． xi1 xi2 … xij … xip ．．．．．．．．．．．．．．． xn1 xn2 … xnj … xnp x11 x12 … x1j … x1p x21 x22 … x2j … x2p ．．．．．．．．． xi1 xi2 … xij … xip ．．．．．．．．．．．．．．． xn1 xn2 … xnj … xnp

線形判別関数（５）

判別関数:Z＝β0＋β1・Ｘ1 ＋β2・Ｘ2 ＋…＋βp・Ｘp 判別関数の係数は観測されている２群のデータを最もよく判別するように決める講義資料＠慶応大学 2005.5.6 by K.Kurihara

線形判別関数（６）

全変動ＳＴを２つに分解し、級間変動ＳＢを最大化する

∑

= = − + − = m 1 i 2 n 1 i i(2) 2 i(1) T (Z Z) (Z Z) S ˆ ˆ 2 n 1 i 2 2 m 1 i 1 B (Z Z) (Z Z) S =

∑

− +

∑

− = = T W T B 2

S

/

S

1 S

/

S

−

=

η

相関比は回帰分析の寄与率と同じ意味を持つ相関比を最大化相関比講義資料＠慶応大学 2005.5.6 by K.Kurihara

線形判別関数（

7

7 ）

）

判別関数に取り入れる変数は重回帰分析と同様に次の点を考慮して選択する必要がある．・説明力の高い変数を分散比（Ｆ値）で選択する．・多重共線性に注意する必要がある．説明変数間の相関係数が0.8以上となる変数関係が 生じている場合はどちらか1つに変数を絞り込んで 解析を進める基本的に線型判別関数は重回帰式と等価な関係にある．講義資料＠慶応大学 2005.5.6 by K.Kurihara

マハラノビスの距離

図3-7 データ群の分布による判別への影響 μB μA σA2＞σB2 Ｘはどちらに判別すべきか？図3-7 μB μA σA2＞σB2 Ｘはどちらに判別すべきか？Ｘユークリッドの距離では，サンプルＸは集団Ｂに近い．

(9)

x

₁

x

₂ ・ ● ● Ａ B

•確率等高線上で同じところのサンプルで

はマハラノビスの距離は同じ

＝確率分布を考慮した距離

サンプルAとBはマハラノビスの距離は等しい DA2=DB2

マハラノビスの距離

参考）マハラノビスの距離の意味

x

₁

x

₂ ・ ● ● 理解しやすくするため、２特性で考える． ☆ ＡとＢの２つサンプルに対し、２つの特性値x１、x２のデータを求めた． ☆ 特性値x１、x２には相関が見られる． ☆ 散布図上の楕円は工程の実力から求めた確率分布を示している．Ａ、Ｂのサンプルは従来のサンプルに比較してどちらが異常と考えられるか？Ａ B 人の目で見れば、Ｂが異常と分るそれを数値で示したものがマハラノビスの距離講義資料＠慶応大学 2005.5.6 by K.Kurihara 基準化

x

₁

x

₂ ・ ● ● x1i -x1 σx1 X1i＝ x2i -x2 σx2 X2i＝

I

）基準化（標準化）

Ａ B ( i＝ A or B ) X1 X2 ・ ● ●

参考）マハラノビスの距離の意味（２）

Ａ B 講義資料＠慶応大学 2005.5.6 by K.Kurihara Ｕ-Ｖ軸による回転

II

）軸の回転

・ ● ● ・ ● ● Ｕ X1 X2 X1 X2 Ｕ＝X1cos(π/4) + X2 sin(π/4) Ｖ＝X1cos(π/4) - X2 sin(π/4) 45deg Ａ B Ａ B ＶＵＶ

参考）マハラノビスの距離の意味（３）

III

）

u-v

軸での基準化

・ ● ● U ui- u σ_u ui＝ vi- v σ_v vi＝基準化 v u ● ● X1 X2 X1 X2 基準化後のu-v 軸上のＡ，Ｂ 各点の距離を示したものがマハラノビスの距離Ａ B Ａ B _V

参考）マハラノビスの距離の意味（４）

マハラノビスの距離の計算

１変数の場合（1次元）のマハラノビスの距離＝(ｘ－ )(σ2₎－1_(ｘ－ ₎ _（3-34）２変数の場合（2次元）のマハラノビスの距離分散・共分散行列Ｓ＝，逆行列Ｓ－1_＝ _とすると（3-35）Ｐ変数の場合（ｐ次元）のマハラノビスの距離（3-36） 2 D       σ ｘｘ－　＝　 2       22 ２1 12 11 ＳＳＳＳ         S S S S 22 21 12 11       − −         − − = ｘｘｘｘ［ 2 1 22 21 12 11 2 1 2 x x ] x , x D S S S S               − −               … − − = ｘ－ｘ　　ｘ x ｘ x ] ｘ－，ｘ , ｘ x , ｘ［x D ｐ 2 1 pp p2 p1 2p 22 21 1p 12 11 ｐ 2 1 2 S S S S S S S S S M L M O M M L L ｘｘ

(10)

マハラノビスの距離による判定

１）2つの集団Ａ，Ｂそれぞれの集団毎に分散・共分散行列Ｓ, その逆行列Ｓ-1_{を求める．} ２）全サンプルに対して式（3-36）により集団Ａ,Ｂそれぞれのマハラノビスの距離ＤＡ2とＤＢ2を求める．３）求めたＤＡ2,ＤＢ2の比較から判別を行う．ＤＡ2＞ＤＢ2 集団Ａに属するＤＡ2＜ＤＢ2 集団Ｂに属するＤＡ2＝ＤＢ2 集団Ａと集団Ｂの境界上であり判別できない． 1 合格 0.98 8.99 2 不合格 7.85 0.14 3 合格 1.27 3.44 4 合格 1.11 9.90 5 合格 1.56 17.82 6 不合格 7.03 1.41 7 不合格 2.20 1.48 8 合格 0.96 4.20 9 不合格 10.75 0.97 10 合格 0.12 9.31 表3-11 マハラノビスの距離による判別結果 D合格 2 D不合格 2 受験者合否_判定講義資料＠慶応大学 2005.5.6 by K.Kurihara

判定の評価方法

推定結果と実際の結果との対応関係から判別分析の結果の精度を比較する．比較指標として次の3指標を紹介する． (1) 正答率(判別的中率とも呼ばれる．hitting ratio) 正答率＝ (3-37) 評価は事例により異なるが,一般的に正答率＞90％であれば非常に良い． (2) 相関比（correlation ratio）式（3-31）のとおり．相関比は重回帰分析の寄与率に相当しており，結果の見方も寄与率に準じて考えればよい． (3) 誤判別の確率(error ratio) あるサンプルを判別する際に実際と異なる集団へと間違って判断する確率． 2つの集団ＡとＢの重心間の距離をマハラノビスの距離で求める．Ｄ０２＝ (3-38) 100 全サンプル数正答サンプル数 ×

）

ｘ

－

ｘ

　（

ａ

ｐ iB iA 1 i

i

∑

= 講義資料＠慶応大学 2005.5.6 by K.Kurihara

【

実施例

】

溶接ロボットの動作によるケーブル断線診断

＜概要＞生産性を高めるためには，1台の溶接ロボットが行う動作を広げたい．一方で溶接動作が複雑になるとケーブルへの負荷が高まり，動作中に断線する場合がある．そこで工場の溶接ケーブルの断線発生履歴を調査し，ロボットの動作設定とケーブル断線発生の有無の関係を分析し，ケーブル断線が発生しない範囲でロボットの動作を設定することを試みた．講義資料＠慶応大学 2005.5.6 by K.Kurihara

【

実施例

】

：データの確認

表3-12　説明変数一覧ケーブル長さ初期曲げ角最小値初期ねじれ角最小値取付点距離最小値初期曲げ角最大値初期ねじれ角最大値取付点距離最大値初期曲げ角平均値初期ねじれ角平均値取付点距離平均値中期曲げ角最小値中期ねじれ角最小値取付点距離変動中期曲げ角最大値中期ねじれ角最大値中期曲げ角平均値中期ねじれ角平均値後期曲げ角最小値後期ねじれ角最小値後期曲げ角最大値後期ねじれ角最大値後期曲げ角平均値後期ねじれ角平均値変数ケーブル長さ取付点距離変動初期曲げ角最小値後期曲げ角最小値後期曲げ角平均値初期ねじり角最小値初期ねじり角平均値ケーブル長さ 1 0.223 0.153 0.135 0.06 -0.163 -0.159 取付点距離変動 0.223 1 0.085 0.015 -0.031 0.007 0.047 初期曲げ角最小値 0.153 0.085 1 0.455 0.372 -0.045 0.262 後期曲げ角最小値 0.135 0.015 0.455 1 0.786 0.214 0.271 後期曲げ角平均値 0.06 -0.031 0.372 0.786 1 0.116 0.218 初期ねじり角最小 -0.163 0.007 -0.045 0.214 0.116 1 0.706 初期ねじり角平均 -0.159 0.047 0.262 0.271 0.218 0.706 1 表3-13 説明変数の相関係数行列講義資料＠慶応大学 2005.5.6 by K.Kurihara

【

実施例

】

：判別分析の実施

F値判別係数定数項 8.068 OK NG ケーブル長さ 31.2 -0.0073 OK 180 18 198 取付点距離変動 0.0 NG 1 14 15 初期曲げ角最小値 7.1 -0.0270 181 32 213 後期曲げ角最大値 18.0 後期曲げ角最小値 35.8 0.0544 初期ねじれ角最小値 24.6 -0.0104 初期ねじれ角平均 1.6 推定値 _合計実測値合計表3-14 判別関数表3-15 判別結果一覧講義資料＠慶応大学 2005.5.6 by K.Kurihara 実際にはケーブル断線が発生しない条件で，断線が発生すると間違った結果が１４件発生している．しかし，現場で断線が発生することの問題の方が大きいためこの結果とした．この場合，判別関数の値が負の場合にケーブル断線が発生しないことから，それぞれの説明変数を表3-14に示した判別 係数に従ってケーブルの条件を変更する．ケーブルの長さを長めに設定し，動作初期の曲げ角の設定は大きくし，一方で動作後期の曲げ角設定は小さくする．併せてねじれ角の最小値を大きくする（＝ねじれ角は±あるため－側のねじれ角を減らすこと．）ことで対応すればよい．

【

実施例

】

：結果の解釈

(11)

講義資料＠慶応大学 2005.5.6 by K.Kurihara 100 200 300 400 中古価格（万円） 89 97 91 95 100 200 300 400 93 年式トランスミッション 5F 4AT

適用例）

Z32

トランスミッションタイプの判別

講義資料＠慶応大学 2005.5.6 by K.Kurihara IN (D)^2 (D')^2 (D'')^2 6 ﾏﾊﾗﾉﾋﾞｽ距離 2.938 2.400 1.960 誤判別率(%) 19.573 21.930 24.198 D^2 D^2の差誤判別率 F比判別係数 vNo. 定数 124.2 IN 2 中古価格（万円） 0.079 -2.858 44.4 24.9 0.077 IN 5 年式 1.1 -1.8 29.7 12.5 -1.5 IN 6 走行距離（万ｋｍ）2.4 -0.5 22.0 3.1 0.4 正答 33 82.50% 誤答 7 17.50% 観測/予測 5F 4AT 合計 5F 19 6 25 4AT 1 14 15 合計 20 20 40 講義資料＠慶応大学 2005.5.6 by K.Kurihara

参考）判別分析とＭＴ法

特性Ａ特性Ｂ健康者の集団 ● ＢさんＤ２：マハラノビスの距離結論：ＡさんはＯＫＢさんは再検査ＭＴ法の考え方ＤA2＜ＤB２Ａさん特性Ａ特性Ｂインド象：I アフリカ象：A 結論：化石Xはインド象である 判別分析の考え方判別関数ｚ化石X ● ＤI２＜ＤA２ ● 判別対象とする集団が明確かどうかに気をつけて欲しい。判別対象とする集団が明確かどうかに気をつけて欲しい。Ｄ２_が等しい講義資料＠慶応大学 2005.5.6 by K.Kurihara