• 統計モデル

マーケティング・リサーチ特論 2020.05.27補助資料

～統計的モデリング1～

2020年度1学期： 水曜２限 担当教員： 石垣 司

1

統計的モデリング

• 統計モデル

– 確率的構造を伴う対象や現象の数理モデル

• 統計的モデリング

– （より良い）統計モデルを作成する行為

• マーケティング・リサーチでは？

– 購買行動分析やアンケート分析など多大な影響

• 特に、直接観測できない潜在変数の推定に有効

– 統計モデルを利用した分析手法

• 因子分析、共分散構造分析、ブランド選択モデル、生存時間分析、

市場反応モデル、潜在クラスモデル、バスモデルなどなど・・・

今回の講義：統計的モデリングに関して

次回の講義：統計モデルに関する推定原理と推定手段 2

統計科学とモデル

• 統計的方法の本質は、データを用いて必要な情報を創り出すこ とにある。（中略） 統計科学は、このような情報の創出の過程 に関する人間の知的活動の科学と定義される

赤池弘次、 『時系列解析の心構え』 、時系列解析の実際 （赤池、北川編）、朝倉書店、1995

（ ）の中は担当教員による補足

2017年11月5日のGoogleロゴ

3

統計科学とモデル

• 確率の説明は様々になされるが、その本質は我々の持つ期待の 構造の形式的な表現である。

– 予測の問題も、当面の問題について自分自身の持つ期待を適切に表現する確率 的な構造を採用することにより、有効な処理が実現される。将来の不確実性に対 処する際には、自分の持つ知識や経験を全面的に投入し、どうしたら良いかにつ いて深く考える。一般に、このような努力なしには、確率的な構造の有効利用は 不可能である

• （従来の統計的推定論や検定論に対し） これらの議論の根底 に有るのは、いわゆる“真の構造”あるいは“真理”の考えである。

（ところが、特殊な場合を除き） 期待の構成の仕方は我々の持 つ知識や経験の使い方に大きく依存する。従って、唯一無二の 真の構造のようなものは存在しない。

赤池弘次、 『時系列解析の心構え』 、時系列解析の実際 （赤池、北川編）、朝倉書店、1995

（ ）の中は担当教員による補足⁴

統計科学とモデル

• 期待は（中略）環境あるいは対象の特性を部分的に表現する形 のモデルを用いて表現される。したがって、我々はより良いモデ ルの探求を通じて、常に未知の状態にある究極的な真理あるい は真の構造に迫るのである

– （統計モデルでは） 期待の数学的表現である確率的構造を用い、将来に対する 行動に有効な形で、データ利用の枠組みを表現する。当然、唯一無二の究極的モ デルなどは存在せず、常により良いものを求めて前進することになる。モデルは仮 説の表現であり、仮説の提案こそが基本的な知的活動である。これによって、デー タに意味が発生し、情報が創り出されるのである

– （情報技術の発達でデータ取得は便利になったが） 新しい統計的方法の開発や その応用を試みる際には、当面の問題についてどれほど深く具体的な感覚を持つ かが成否の分かれ目になる。 （中略） 深く対象について考え、様々な角度から 観察し、対象に対する具体的あるいは思考的な働き掛けを行って仮説の検討を進 め、モデルあるいはその解釈の改良を続けることによってのみ、良い結果に到達 できるのである

赤池弘次、 『時系列解析の心構え』 、時系列解析の実際 （赤池、北川編）、朝倉書店、1995

（ ）の中は担当教員による補足⁵

• 確率的効用モデル

（商品j の購買の有無の2項選択モデル）

– 消費者行動に対する仮説の数理的表現

• 「消費者は効用という潜在変数をもつ」

• 「効用の値が購買行動を決定する」

– 「その値がある閾値よりも高ければ商品を購買する」

• 「価格の変化や店頭販促の実施で効用は変化する」

– 「その影響は線形的である」

– “期待”の表現（確率的構造）⇒統計モデル

• 上の仮説（確定項）のみでは表現できない過去、現在、将来の 消費者の購買行動は確率的構造に従う

• 「効用が高い方が商品を買いやすい」

⇒その買いやすさの期待を確率的構造で表現

0 1 2

j j j j

u     価格   店頭販促  

↑

確率的構造の項

消費者の効用

購買データ

y

_j

 1, if u

_j

 0, otherwise y

_j

 0

仮説と期待の数理的表現

～マーケティングモデルを例に～

6

より良いモデルの探究

• モデルは常に完璧ではない

– “ Essentially, all models are wrong, but some are useful”

(G.E.P. Box, Box-Jenkins methodology)

– より本質的な対象のメカニズムを説明したい

– より良い予測・制御のために、より本質的な情報を得たい

• より良いモデルの探求

⇒人間の知的活動としての統計的モデリング

• 統計的モデリングによる情報の創出には？

– 問題の対象に対する深い理解 – 問題に適した統計モデル

– 統計モデルに適した推定原理と推定手段

7

モデル・推定原理・推定手段

• 情報の創出には 3 つの調和が必須

※3つは混同しやすいので注意。特に原理と手段に関しては“推定法”などとまとめて書かれている書籍等もあ る。ここでは混同を防ぐため、推定原理と推定手段という言葉で区別する。

モデル 推定原理 推定手段

対象の特性の部分的な表 現。(本講義では主に) 確 率的構造の数学的表現

【例】

• 線形回帰モデル

• 因子分析モデル

• 自己回帰モデル

• 階層的モデル

【例】

• ズレの最小化

– 最小2乗推定 – 一般化モーメント法 – LASSOなど

• 最尤推定

• ベイズ推定

【例】

• 推定量から推定値を 計算

– 正規方程式など

• 数値的最適化

– ニュートン法など

• MCMC法

未知のパラメータを含んで いるモデルとデータを整合 させるための原理

モデルとデータを整合させ る方法・アルゴリズム

#メモ：例えば、“階層ベイズモデル”は階層的モデルをベイズ推定の原理で扱うということ。モデルと原理を両方含んでいる言葉。

また、マーケティング・リサーチでは回帰モデルや離散選択モデルがほとんどだが、他の分野ではそうとは限らないので注意。 8

より良いモデルへの改良

～回帰モデルを例に～

• 線形回帰モデル

–

_{𝑖 0 1 𝑖 𝑖 𝑖} ²

• 推定手段や推定結果の性質は既知

• 線形回帰モデルの枠組み内での改良

– 対象に対する知識や経験を投入

– 説明変数の取捨選択は基本的なモデル改良手段。しかし、線 形性や誤差の正規性などの仮定が妥当ではない場合、この 枠組での改良は限界あり

Notation

目的変数ベクトル ：𝒚 𝑦1, … , 𝑥𝑁𝑇

説明変数ベクトル ：𝒙_𝑖 1, 𝑥₁, … , 𝑥𝑃^T 計画行列：𝑿 𝟏, 𝒙₁, … , 𝒙_𝑁 回帰係数ベクトル：𝜶 𝛼₀, … , 𝛼_𝑃^T 誤差ベクトル：𝜺 𝜀₁, … , 𝜀_𝑖^T 行列表記：𝒚 𝑿^𝑇𝜶 𝜺

0 1 2

i

 

i



i



i

売上数   価格  店頭販促 

0 1 2 3

i

 

i



i



i



i

売上数   価格  店頭販促  降水量 

改良前

改良後

9

より自由なモデリングを求めて

～回帰モデルを例に～

• 多様な統計モデルの枠組みを知ることは、

より良い情報創出のための航海図

• 将来の予測？

• 過去の説明？

• 因果構造？

• 一致性？

• 知識発見？

一般化加法モデル

（非線形・ノンパラ）

回帰モデルの世界

LASSO回帰

（大量の説明変数）

※モデルの拡張ではなく、新しい推定原理の導入

線形回帰モデル

一般的な中級程度の計量経済学の講義内容

階層回帰モデル

（より自由なモデリング）

同時方程式モデル

（理論モデルの実証）

ロジット・プロビット

（目的変数が2値）

一般化線形モデル

（非正規分布）

日進月歩で領域拡大中

羅針盤

⇒対象としている問題で 重要な指標は何か？

ガウス過程回帰

（非線形・スパース）

10

一般化線形モデル(GLM)

• 指数分布族の回帰分析

– GLM (Generalized Linear Model)

(J. Nelder, R. Wedderburn. JRSS(A),135(3), pp.370–384 (1972))

– 目的変数 ⇒ 指数分布族に属する分布

• 正規分布、ベルヌーイ分布、二項分布、ポアソン分布、指数分布など

– 何ができるの？

• 目的変数が2値（購買の有無など）のモデリング⇒ロジスティク回帰

• 事象のカウントデータ（購買頻度など）のモデリング⇒ポアソン回帰

• モデルの構造

～線形回帰モデルとの対比

– 線形回帰モデル：

_{𝑖 𝑖}^𝑇

• 平均構造はパラメータの線形結合

– GLM ：

_{𝑖 𝑖}^𝑇

• 平均構造はリンク関数𝑔で逆変換したらパラメータの線形結合 11

一般化線形モデル～指数分布族

• 指数分布族を考える意義

– 指数分布族の性質や適用可能な推定原理・手段が分かれば、

それに属するすべての分布で同様のことが分かる

指数分布族

正規分布

𝑝 𝒙 ℎ 𝒙 𝜂 𝜽 exp 𝜽^𝑇𝑢 𝒙

𝒙:確率変数ベクトル、𝜽:パラメータベクトル

（この形に確率密度関数を変換可能）

ポアソン分布 多変量正規分布

指数分布

ベルヌーイ分布

確率分布の空間

2項分布

ガンマ分布（+逆）

ディリクレ分布

一様分布

多項分布

ウィシャート分布（+逆）

指数分布族（𝑝 𝒙 ）の性質

• 最尤推定量の満たすべき条件 が得られる。その条件は𝑢 𝒙 に のみ依存（十分統計量）

⇒ 最尤推定が統一的な枠組 みで可能

• 共役事前分布をもつ

⇒ ベイズ推定

χ2分布

対数正規分布

F 分布 コーシー分布 混合正規分布 t 分布

一般化線形モデル

異なる分布でも統一的な枠組 みで回帰分析が可能 ₁₂

一般化線形モデルの例

• ベルヌーイ分布（ロジスティック回帰分析）

#ロジスティック回帰モデルも一般化線形モデルの枠組みで表現可能

– データ：

𝑦

_𝑖

~ 𝐵𝑒 𝑝

_𝑖

,

( y_i∈{0, 1} の2値データ) – 回帰の構造：

𝑔 𝑝

_𝑖

𝒙

_𝑖^𝑇

𝜶,

– リンク関数：

𝑔 𝑧 log 𝑧 1 𝑧

• ポアソン回帰

– データ：

𝑦

_𝑖

~ 𝑃𝑜𝑖𝑠𝑠𝑜𝑛 𝜆

_𝑖

,

( y_iは離散値)

#（復習）ポアソン分布の平均と分散は同じλ

– 回帰の構造：

𝜆

_𝑖

exp 𝒙

_𝑖^𝑇

𝜶

– リンク関数：

𝑔 𝑧 log 𝑧

– 例：ある商品の売上個数（y_i: 離散値）の平均（λ_i）と分散（λ_i）は来店人数

（x_i）に依存する

– Rの関数‟glm”により、上と同じ要領でプログラミング可能

• library(ISLR)

• data(Default)

• logit =

glm(formula=default~balance,family=binomial,data=Default)

• xx <- data.frame(balance=seq(min(Default$balance), max(Default$balance), 1))

• pre=predict(logit, xx, type="response")

• plot(Default$balance,Default$default=="Yes",xlab="balance",ylab="Prob.")

• lines(pre~as.matrix(xx))

13

一般化加法モデル

• 説明変数の非線形構造の導入

– GAM(Generalized Additive Model)

– GLMをノンパラメトリック関数へ拡張

• 局所回帰関数、スプライン（平滑化スプライン、Bスプラインなど）

• モデルの構造

～その他の回帰モデルとの対比

– 線形回帰モデル：

_{𝑖 𝑖}^𝑇

– GLM：

_{𝑖 𝑖}^𝑇

– GAM：

_{𝑖 𝑖 𝑖}

• library(mgcv)

• data = read.csv("http://goo.gl/qw303p")

• lm.model = glm(income ~ age, data=data)

• gam.model = gam(income ~ s(age), data=data)

• xx = data.frame(age=seq(min(data$age), max(data$age), 0.1))

• lm.pre = predict(lm.model,xx)

• gam.pre = predict(gam.model,xx)

• plot(data$age,data$income,xlab="age",ylab="income")

• lines(lm.pre ~ as.matrix(xx), col="red")

• lines(gam.pre ~ as.matrix(xx), col="blue")

14

階層回帰モデル

• パラメータに関しても回帰構造を導入

– 個体差や集団間の差をモデリング

• 階層ベイズモデル（ベイズ推定）

• マルチレベルモデリング（最尤推定が主）

※消費者異質性モデルの講義で詳述

• モデルの構造

～その他の回帰モデルとの対比

– 線形回帰モデル：

_{𝑖 𝑖}^𝑇

– GLM：

_{𝑖 𝑖}^𝑇

– 階層回帰モデル：

_{𝑖 𝑖}^𝑇

),

_{𝑗 𝑖}^𝑇

•

𝜸 は α

_𝑗を説明するパラメータベクトル

•

𝒛

_𝑖

は α

_𝑗を説明する説明変数ベクトル

15

自由なモデリングで克服すべき点

• 複雑なモデルを構築してパラメータの推定や情報の創 出が可能か？

– パラメータ数とデータ数のバランスは適切か？

– 識別性はあるか？

– 最適化の手段はあるか？

などなど・・・

• モデル、推定原理、推定手段は三位一体

– モデルに適した推定原理・手段は情報創出に必須 – 次回の講義 ⇒ 推定原理、推定手段

16

モデルは世界観

• “ モデル（模型） ” というからには、それは「本物ではない」というこ とである。現実そのものではなく、そこに内在する本質的なもの を取り出したものである。 “取り出す(abstract)”とは“抽象”である。

取り出すからにはそこに取り残されたものがあるわけであるから、

“抽象”とはすなわち“捨象”である。

抽象の過程は決して純客観的ではありえない。「このことの本 質はこれこれである」ということではなくて「私は、これこれがこの ことの本質であると見るのだ」という、主体的な行動である。モデ ルを作ることは自分の立場の表明であり、大げさに言えば、自分 の世界観の宣言である。

伊理正夫、 『モデリング』 、モデリング（室田、池上、土屋編）、近代科学社、2015

捨象:（概念を抽象する作用の反面として）現象の特性・共通性以外を問題とせず、考えの

うちから捨て去ること。 17