基礎統計

基礎統計

講義資料

• テキスト 『入門統計解析』 倉田博史・星野崇宏， 新世社，2009. （2500円+税） • スライド資料 http://lecture.ecc.u-tokyo.ac.jp/~candoma/ 「基礎統計（’16）」にてスライド資料（PDFファイル）

情報教育棟にあるPC端末で Safari を起動すると… 「講義用WWWサーバ」 をクリック 「安藤先生：（養）」 をクリック 学内のPC端末からアクセスするには…

参考図書：統計処理

• Excel関連 • 『Excelによる統計入門－Excel2007対応 版』 縄田 和満著，朝倉書店． • R関連 • 『R初心者のためのABC』 A.ジュール (著) 他 , シュプリンガー・ジャパン． • 『The R Tips―データ解析環境Rの基本技・ グラフィックス活用集』, 舟尾 暢男 著,Ohmsha.

参考図書：演習

• 『基本演習 確率統計』 和田秀三著，サイエンス社． • 『演習 確率統計』 洲之内治男他 共著，サイエンス社． • 『数理統計演習』 国沢清典他 共著，サイエンス社．

本日の講義内容

•

第2章：1次元データの整理

•

度数分布表とヒストグラム

•

データ分布の中心の指標

•

データ分布の散らばりの指標

•

データ分布の形状の指標

•

(発展) ローレンツ曲線とジニ係数

記述統計

記述統計学

• 集団としての特徴を記述するために，観測対象となった各個 体について観測し，得られたデータを整理・要約する方法 • 観測： 調査や実験のこと • 個体： 人，もの • データ： 個体の観測値をまとめたもの •

図やグラフによる方法

• データの分布の様子を大雑把につかむのに適している •

数値による方法

• データを正確に理解する助けとなる

事例：ある地区200世帯のある1ヵ月の電灯使用量 21 234 278 96 140 155 76 128 101 96 54 206 249 63 161 154 108 128 61 95 89 176 220 197 183 135 131 104 101 95 119 145 201 169 183 111 131 68 125 94 147 119 172 143 160 80 107 68 100 94 178 88 144 116 138 79 76 104 125 94 94 100 127 75 109 112 84 117 54 209 235 19 86 36 82 135 107 127 124 298 15 93 48 84 82 151 130 102 122 92 317 52 8 115 112 150 130 67 99 88 352 92 4 143 138 135 107 67 98 92 118 37 385 168 157 109 121 73 102 145 92 86 410 194 180 79 70 125 97 91 445 175 116 189 155 79 105 125 120 206 452 91 144 164 138 108 129 102 96 382 224 91 172 140 111 134 128 65 120 254 198 350 90 115 81 150 104 64 96 90 90 120 102 70 134 80 83 215 278 310 286 305 247 82 111 108 69 125 120 90 96 90 125 104 78 136 114 272 302 258 (単位： kWh)

度数分布表・ヒストグラム

全体の分布の状況を掴みたい

情報の視覚化

表やグラフによる方法

（2.1 度数分布表とヒストグラム）

度数分布表

電灯使用量 世帯数 累積 度数 相対度数 累積相対 度数 （階級） 階級値 （度数） 0～50 25 8 8 0.040 0.040 50～100 75 63 71 0.315 0.355 100～150 125 76 147 0.380 0.735 150～200 175 24 171 0.120 0.855 200～250 225 11 182 0.055 0.910 250～300 275 7 189 0.035 0.945 300～350 325 4 193 0.020 0.965 350～400 375 4 197 0.020 0.985 400～450 425 2 199 0.010 0.995 450～500 475 1 200 0.005 1.000 合計 200 1.000

度数分布表の作成手順

① 範囲（レンジ）（＝最大値ー最小値）を計算する レンジ＝ ４５２ー４ = ４４８ ② 階級幅を決定する 階級幅＝５０ ③ 階級限界（階級下限，階級上限）を定める ０～５０，５０～１００，_{…，４５０～５００} ④ 階級値を計算する ２５（＝（０＋５０）／２）， ７５， １２５，_{…， ４７５} ⑤ 各階級に入る観測値の数，すなわち階級度数を計算する ⑥ 相対度数，累積度数，累積相対度数を計算する

度数分布表を読み解くポイント

• データの中心傾向 データが集中するところからみて過半数が収まる範囲をつかむ． 平均的な傾向が分かる． 例：電灯使用量 50kWh – 150kWh で全体の6割を占める． • モード(mode)：度数が最大となる階級の階級値 Mo=125 • データの全体のばらつきを把握する 過半数(50%)，ほとんど(90%)，ほとんどすべて(99%)，全体 (100%)の範囲をおさえることで特定できる． • 少数の異質性を探る

ヒストグラム

ヒストグラム 0 10 20 30 40 50 60 70 80 0～5 0 50～1 00 100～1 50 150～2 00 200～2 50 250～3 00 300～3 50 350～4 00 400～4 50 450～5 00 電灯使用量 世帯数 世帯数 （度数）

グラフによる表示

•

柱状図（ヒストグラム）

• 度数柱状図 （柱状の高さ＝度数，図２－１，ｐ１７） • 相対度数柱状図 （柱状の高さ＝相対度数，図２－２，ｐ１８） • 規準化相対度数柱状図 • 各階級の柱の面積の合計が１に基準化． • メリット • 同じ母集団で，標本数や階級幅の異なる度数分布を比較するとき • １つの度数分布表において階級幅の異なる階級が含まれているとき

•

度数多角形（離散変数の度数分布）

ヒストグラムを読み解くポイント（１）

• 形状 A) 単峰性（山が１つ）で左右対称な形 例：身体測定データ（身長など） 中心の位置、散らばりに注目！ ５０％

ヒストグラムを読み解くポイント（２）

B) 多峰性（山が２つ以上）を示す形 例：住宅の広さのヒストグラム

層別

性質の異なるデータがまじり あっている場合 床面積 持家 借家 専 用 住 宅 数

ヒストグラムを読み解くポイント（３）

C) 非対称な形（左右対称でない形） 例：電灯使用量のヒストグラム 右に歪んだ分布 左右対称な砂山（分布）を右 側から押したイメージ 峰が中央から左側に寄っている 右側に長く裾を引く分布

非対称な分布の例

0 5 10 15 20 25 0～5 5～10 10～15 15～20 20～25 25～30 30～35 35～40 博物館の数（人口100万人当たり，都道府県別） （出典：文科省社会教育調査，2011年度） 上位５県 １位：長野 ２位：山梨 ３位：富山 ４位：島根 ５位：石川

ヒストグラムを読み解くポイント（４）

D) 外れ値が存在する

異質なデータの存在

•取り除く

事例：2005年度 公営賃貸住宅の家賃(円,1カ月3.3㎡)の 都道府県別データ（テキスト p14） 番号 都道府県名 家賃(円） 番号 都道府県名 家賃(円） 1 北 海 道 1393 25 滋 賀 県 1706 2 青 森 県 1005 26 京 都 府 2142 3 岩 手 県 1048 27 大 阪 府 1936 4 宮 城 県 1369 28 兵 庫 県 2079 5 秋 田 県 1226 29 奈 良 県 2543 6 山 形 県 1074 30 和歌山県 1352 7 福 島 県 1048 31 鳥 取 県 995 8 茨 城 県 1222 32 島 根 県 983 9 栃 木 県 1301 33 岡 山 県 909 10 群 馬 県 1239 34 広 島 県 1196 11 埼 玉 県 2538 35 山 口 県 987 12 千 葉 県 2771 36 徳 島 県 1026 13 東 京 都 3395 37 香 川 県 1163 14 神奈川県 3245 38 愛 媛 県 905 15 新 潟 県 1461 39 高 知 県 1019 16 富 山 県 1097 40 福 岡 県 2165 17 石 川 県 1247 41 佐 賀 県 1068 18 福 井 県 1134 42 長 崎 県 1255 19 山 梨 県 1266 43 熊 本 県 1424 20 長 野 県 1244 44 大 分 県 1162 21 岐 阜 県 942 45 宮 崎 県 1037 22 静 岡 県 1594 46 鹿児島県 1295 23 愛 知 県 2005 47 沖 縄 県 1382 24 三 重 県 1023 教科書で事例 を確認してみ よう！

補足

 階級数・階級幅の選択 階級数は多すぎても少なすぎてもよくない． 目安の一つにスタージェスの公式がある．  両端が開いた分布（例：所得分布）  最初の階級の下限値，最後の階級の上限値がない場合  厳密にはヒストグラムを描けない．最後の階級の柱の高さは適当に決め るしかない．  階級幅が異なる階級が混在する場合（階級の合併 p17）  階級幅が他よりも大きいところでは，面積が度数を反映するように高さが 決められている．  相対度数柱状図 データ数 10 20 30 50 100 150 200 300 500 1000 階級数（ｋ） 4 5 6 7 8 8 9 9 10 11

標本データの背後にある母集団を考える必要がある

• 事例で用いた電灯使用量データを標本データとみなすとき， いずれの母集団からの代表的標本と考えることができるか？ A) ある地区のある１ヵ月の世帯当たりの電灯使用量 B) ある県のある１ヵ月の世帯当たりの電灯使用量 C) 全国のある１ヵ月の世帯当たりの電灯使用量 注意点 • 標本データの集計結果から得られた結論をどこまで一般化できるかは， 母集団の想定範囲にかかっている． • 研究目的に応じた母集団の措定, 想定する母集団からの無作為抽出 による標本の選択が重要．

数値による方法

（2.2 データ分布の中心の指標）

• 度数分布表・ヒストグラム （＋）視覚的にとらえやすい． （－）階級数（階級幅）の取り方によって印象が変わる． （－）客観的評価がしずらい． 分布の特徴を表す基本統計量

代表値（平均・中央値（メディアン）・最頻値など）

散らばり（分散・標準偏差・四分位偏差など）

データ１

• 次の１０個のデータを用いて，代表値と散らばりを見ていくこと にする．

1 2 3 3 4 4 4 6 9 14

0 1 2 3 4 1 2 3 4 5 6 7 8 9 10 11 12 13 14

2.2.1 平均（算術平均）

平均

例 0 1 2 3 4 1 2 3 4 5 6 7 8 9 10 11 12 13 14 平均

優勝者は？

A

B

C

D

E

1

4.9

3.8

3.9

3.7

3.9

2

3.5

3.4

3.8

3.4

3.3

3

3.3

3.2

3.6

3.3

3.2

4

3.2

4.1

4.3

4.2

3.9

5

3.4

3.3

3.4

3.2

3.1

6

3.7

3.7

3.5

3.5

3.4

次の表は１～６の選手の演技をA～Eの評価者が5点満点で採点した結果である． 評価者Aが自国の選手１に甘い採点をしているようだが…

算術平均

A

B

C

D

E

1

4.9

3.8

3.9

3.7

3.9

4.0

2

3.5

3.4

3.8

3.4

3.3

3.5

3

3.3

3.2

3.6

3.3

3.2

3.3

4

3.2

4.1

4.3

4.2

3.9

3.9

5

3.4

3.3

3.4

3.2

3.1

3.3

6

3.7

3.7

3.5

3.5

3.4

3.6

トリム平均 trimmed mean

• 調整平均とも呼ばれる． • データを小さい順に並び替え，大きい方からまた小さい方から 同じ数（同じ割合）のデータを除き，残ったデータを用いて平均 値を計算したもの． • 例：２０％トリム平均 1 2 3 3 4 4 4 6 9 14 （２＋３＋３＋４＋４＋４＋６＋９）／８＝４．３７５

A

B

C

D

E

1

4.9

3.8

3.9

3.7

3.9

4.0 3.87

2

3.5

3.4

3.8

3.4

3.3

3.5 3.43

3

3.3

3.2

3.6

3.3

3.2

3.3 3.27

4

3.2

4.1

4.3

4.2

3.9

3.9 4.07

5

3.4

3.3

3.4

3.2

3.1

3.3 3.30

6

3.7

3.7

3.5

3.5

3.4

3.6 3.57

2.2.2 メディアン

データ を大きさの順に並べ替える メディアン（中央値，中位数，メジアン） ちょうど中央に位置するデータの値 例 例 1 2 3 3 4 4 4 6 9 14 順序データ （nが奇数のとき） （nが偶数のとき）

0 1 2 3 4 1 2 3 4 5 6 7 8 9 10 11 12 13 14

2.2.4 平均・メディアン・モードの関係

モード（最頻値）分布の峰に対応する値， 度数分布表において，度数が最大となる階級の階級値 メディアン 平均 モード 例 _{モード ４} ・分布の形状 - 右に歪んだ分布 平均≧メディアン≧モード - 左に歪んだ分布 平均≦メディアン≦モード メディアン 平均 モード

補足：平均値の性質

a. 各データの平均からの偏差の和は0である．逆に各データとの偏差の和を０と する値は平均に限る． b. 各データとの偏差の2乗和を最小にする値は平均である． c. 各データを一斉にa倍してbを加えたときの平均は，もとのデータ の平均をa倍してbを加えたものに等しい．

x

a

a

x

n i i













0

)

(

1





 







n i i n i i a

x

a

x

x

1 2 1 2

)

(

)

(

min

b

x

a

b

ax







2.2.3 最小2乗値と しての平均” 参照 2.2.4 単位の変換 に関する公式” 参照 “問題2.2 の2” 参照

データ分布の中心の指標：代表値

•

分布の代表値として適切さの基準

⇒ 分布に含まれる各値との近さ

•

距離

の総和

の小ささ

⇒ 最小にする値は

メディアン

•

距離の２乗

の総和

の小ささ

⇒ 最小にする値は

平均

t

x

_i









N i i

t

x

1





2

t

x

_i













N i i

t

x

1 2 （テキストp２６）

補足：度数分布表から平均値を求める（p25 注2.3）

度数 階級値 電灯使用 量 階級値 度数 （階級） 0～50 25 8 200 50～100 75 63 4725 100～150 125 76 9500 150～200 175 24 4200 200～250 225 11 2475 250～300 275 7 1925 300～350 325 4 1300 350～400 375 4 1500 400～450 425 2 850 450～500 475 1 475 合計 200 27150 27150 ÷ 200 ＝ 135.75 平均 135.325 一致しない 原データから求めた 場合は…

2.3 データ分布の散らばりの指標

• データを整理・要約する際、中心の指標のみではデータ分布 を特徴付けたとはいえない． Histogram of x x 0 5 10 15 0 10 20 30 40 Histogram of y 0 5 10 15 20 平均

分散(2.3.1)と標準偏差(2.3.2)

偏差（平均値からの偏差） 分散 標準偏差（分散の平方根） nではなくn-1で割った場 合を不偏分散と呼ぶ 例 観測値と同じ測定単位 で評価できる とも書ける

平均偏差(2.3.3)

• 偏差（平均値からの偏差）

• 平均偏差

範囲と四分位偏差(2.3.4)

範囲

例

・散らばりの尺度としては粗いもの ・極端に大きい（小さい）異常値の影響を受ける 1 1 2 2 2 3 3 3 4 14 例えば… Rg=14 – 1 = 13

範囲と四分位偏差(2.3.4)

四分位偏差 • 第１四分位点( ：２５％) • 第２四分位点（メディアン：５０％） • 第３四分位点( ：７５％) パーセンタイル （（百）分位点） 1 2 3 3 4 4 4 6 9 14 25% 50% 75% 例

変動係数(2.3.5)

変動係数 分布の中心の位置が，著しく異なるものを比較するのに有効 例： 一人当たりの県民所得 1965年 平均 26.6万円 標準偏差 7.5万円 変動係数 0.28 1975年 平均 117.5万円 標準偏差 23.8万円 変動係数 0.20 所得格差が広がったように見えるが， 平均を考慮した上で評価すると小さくなっている． 100円の商品で値段が10円違うと大きい（10/100=0.1)が, 1000円の商品で10円違ってもそんなに大きく感じない(10/1000=0.01)． 無名数（単位の付い ていない数）

補足：分散の性質

• データの１次変換（2.3.6 単位の変換 参照） • 分散の計算 • 平均のときと同様に度数分布表から分散（の近似値）を求め ることができる． • 不偏標本分散 Ｘの分散は 度数分布表から求めた平均

2.4 基準化変量

基準化変量 偏差値得点 変数ｘの標準偏差 平均５０点、標準偏差１０点となる ように変換したもの

2.5 データ分布の形状の指標

2.5.1 歪度(skewness)

• 歪度(わいど)：分布の非対称性をみる • 右に歪んでいる場合 • 左右対称(歪みのない)の場合 • 左に歪んでいる場合

2.5.2 尖度（kurtosis）

• 尖度(せんど)：データ分布が釣鐘型に近いか否かを測る指標 (外れ値の検出にも利用可) • 正規分布よりも尖りが強い • 正規分布と同程度 • 正規分布よりも尖りが弱い

2.6 ローレンツ曲線とジニ係数①

• ローレンツ曲線とは，分配の状態を折れ線グラフで表したものであり，分配 の平等・不平等を観察することができる（例：所得の分配の不平等性を指 摘するときに用いられる）． • 従業者数と事業所数のデータ • 1-4人規模の事業所が 4428千件．全体の 68.2% • 1-4人規模の事業所で 働いている人の総数 9486千人．全体の 19.4% • すべての事業所の従業員数が 等しければ対角線となる． 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.2 0.4 0.6 0.8 1 従業者数 （％） 事業所数（％）

2.6 ローレンツ曲線とジニ係数②

• ジニ係数：平等・不平等を1次元の数値で表したもの．

• 完全平等線（対角線）とローレンツ曲線で挟まれた部分の2倍

に相当する．

次回の講義内容(4/25)

• 第2章：1次元データの整理 （つづき） • 第3章：2次元データの整理 • 散布図 [グラフ] • 共分散と相関係数 [数値] • 回帰分析 [数値とグラフ] • 偏相関係数 [数値]