Kawata Nishitani 20170507 最近の更新履歴 Keisuke Kawata's HP

1

短期留学プ 語学力到 度 え 影響 い ：広島大

学 _START プ 事例

川 恵 ²

広島大学 大学創 支援事業 分析

東京大学 社会科学研究所

西谷元

広島大学 大学創 支援事業 分析

広島大学 社会科学研究科

要約

本研究 広島大学 実施 短期留学プ _(STARTプ 学生

語学力 え 影響 い 統計的 定 的 評価 行う 推計 際 大学生

TOEIC ^{コア プ 参加 関 情報 用い 差 差 推定法 用い}

プ _TOEIC 点数 え 因果効果 推計 目指 イア

減 傾向 コア法 合わ 用い 推計 結果 統計的 経済的 意 留

学プ 影響 認

Key words: ^{短期留学 語学力} TOEIC ^{差 差 推定}(DID) ^{傾向 コア}

1 _{本論文 広島大学 大学創 支援事業 一部 行 大学施}

策 立案 実行 役立 分析 果 発表 あ 本論文

対 川口大司氏 多く 益 コ ン

2 mail address: [email protected]

2

1. ^序論

経済 社会 化 展 中 学生 語学力向 要性 改

指摘 い く 日本人学生 語学力 他 先 諸国 ア ア諸国 比 い水準 留 ₍Educaiton First 2016) ^{向 大 社会的課}

題 い う 現状 中 多く 大学 学生 語学力向 向

組 行 い 中 短期留学 奨励 特 盛

行わ い 組 一 あ ₍日本学生支援機構 ₂₀₁₇₎

う 留学プ 学生 語学力 え 影響 い

統計的 定 的 評価 行 分析 皆無 あ 短期留学プ

本当 学生 語学力向 繋 い 統計的エビ ン

在 い状況 あ

本論分 広島大学 い 実施 い 無料 短期留学プ

(START^プ ) ^びTOEIC ^{験プ 用い}

留学プ _TOEIC コア え 影響 い 因果効果 推定 試

々 用い 留学プ 参加前後 _TOEIC コア 観

察 _STARTプ 参加者 処置群 非参加者 対称群

差 差 推定_(DID) 可能 本研究 処置群 対称群 異質 time trend ^{持 可能性 対処} Abadie (2005) ^{提案 傾}

向 コア 用い _DID 補正 行う

推計 結果 _STARTプ 参加 学生 参加 学生 比

TOEIC ^{コア 大 く伸び い 確認} DID START

プ 因果効果推定 _44.3点 改善 傾向 コア 用

い 補正 因果効果推定 ₃₉点 あ 依然 統計的 意

値 示

3

以 結果 一貫 _STARTプ _TOEIC コア 改善

因果効果 い 示唆 い _STARTプ 参加者

プ 参加前 均_TOEIC コア ₅₅₅点 あ 踏 え 経

済的 意 結果 あ いえ 本論分 分析結果 短期留学

プ 語学力 え 影響 絞 学生 対 益 プ

あ いう主張 支持 い

以 第₂章 分析 背 広島大学 _STARTプ _TOEIC

特色 い 述 い 第₃章 特性 第₄章 分析手

法 い 紹 第₅章 分析結果 示 最後 第₆章 行 う

2. ^背

本分析 広島大学 学生 対象 大 実施 い _STARTプ

処置変数 _TOEIC 点数 結果変数 用い 推

定結果 正 く解釈 分析 骨子 形 要素 い

十分 理解 必要 あ 推定 大学やプ 特色 把握 必

要 あ

2.1 START^プ

START^プ (Study Tour Abroad for Realization and Transformation)

広島大学 行わ い 短期留学プ あ ₂₀₁₁ 度 参加学生 総数 ₈₃

当該プ 対象 海外経験 少 い学部 生 あ 彼 国際交流

や本格的 留学 関心 高 目的 い 留学費用 大部

分 大学 補助 賄わ 本分析 対象 度 プ

自己負担 万 あ

4

当該プ 参加者 自主的 応募者 中 書類選考 び プ

面接 結果選 選考 際 海外経験 少 い学生 優先 英

語力 い 点数化 志望動機書 _GPA 面接選考 基準 1/3^{以 い}

表

表 度 派遣国 び派遣期間 表 い 派遣国 中

英語 母国語 い国 ベ 含 派遣期間

間 留 2.2 TOEIC

TOEIC(Test of English for International Communication) ^米国

Educational Testing Service (ETS) ^{行 い 英語 コ ュ ョ}

ン能力 測 試験 あ 試験 日本 い 及 い 語学力

一 あ 広く大学院入試や企業 採用活動 用い い

広島大学 試験 学生 無料 講 プ 行

度 生 び 生 無料 験

第 回目 回目 _TOEIC 間 脱落 学生 少 く サンプ

ョン イア 懸念 少 い 考え 実際 度 い

第 回目 試験 験者 _2,448人 あ 対 第 回目 _2,252人

験者 脱落サンプ 少 い

3.

本分析 用い ₂₀₁₁ 度 入学 広島大学生 い ₂回分 TOEIC ^コア START^{プ 参加経験 無 び所属学部 学}

科 コ 情報 結合 作 第₁回目 _{TOEIC 1}

5

目 ₅ 第₂回目 _{TOEIC 2} 目 ₅ 講 間 _START

プ 行わ 当 学生 分析単 ₂期間 ネ

[^図 ]

図 ネ 法 推計 処置群 対照群 第₂回目 _TOEIC

コア分布 示 い 全体 処置群 分布 対照群 比 右

側 置 _STARTプ 参加者 う 非参加者 比

高い_TOEIC コア 獲得 傾向 あ 示 い

図_{1 START}プ フ 参加 学生 _TOEIC コア

改善 いう主張 導 い 大 理 図₂ 示

第₁回目 _TOEIC コア分布 あ

[^図 ]

図₂ 図₁ 様 ネ 法 処置群 対照群 第₁回目 TOEIC ^{コア分布 示 い 図} START^{プ 実施前 あ}

わ 処置群 う 対照群 コア 高い傾向 あ 示

い わ _TOEIC コア 高い学生 _STARTプ 応募 参加 傾向 あ 図₁ 示 _STARTプ 後 差 START^{プ 持 え 因果効果 正確 反映 い い可能性 示}

唆 い 図₁ 分布 差 _STARTプ

績 改善 く 元々 績 良い学生 プ 参加

い いう ョン 効果 反映 い 可能性 あ あ

表₂

表₂ 処置群 対照群 所属学部 大 偏 在 い

明 あ _STARTプ 参加 多く 文学部や教育学部 あ

6

対 学生数自体 多い理学 工学部 学部 参加者 少 い う 出身学部 差 図₁ 示 _STARTプ 後 差 生 出 い 可能 あ

以 議論 図₁ 分布 差 _STARTプ 因果効果

生 プ 前 在 個人 属性 い 生

別 い いう問題 社会科学や健康科学 実証

研究 中心的課題 統計的因果推論(Causal inference)^{3 いう一}

大分 い 本論文 当該問題 克服 代表的 手法 あ 差

差 推計(Difference-in-Difference) ^用い START^{プ 因果効果} 推計 試

4. ^推定手法

本研究 潜在結果 Rubin 1974; Holland 1986 ^用い START プ _TOEIC 結果 え 因果効果 定義 び推計戦略 整理

行う

4.1. ^{定義：処置群 均因果効果}

学生_{i t ∈ { , }} 回目 _TOEIC コア 潜在値 _{yit s} 表 START^{プ 参加経験 無}_{s ∈ {}^{参加 参加}_} ^{関数 例え} y_i ^{参加 学生i STARTプ 参加 後 験 第2回目} TOEIC ^コア _yi ^{参加 学生} START^{プ 参加} 験 第₂回目 _TOEIC コア 表

本研究 主 関心 第₂回目 _TOEIC コア _STARTプ 参

3 _{当該分 包括的 議論} Imbens and Rubin (2016) ^{参照 初学者 対象} Imai(2017) ^挙

7

加 え 処置群 均因果効果 あ 潜在値 用い 以

う 定義

均因果効果＝_{E[yi (}参加_)|処置群_{] − E[yi} 参加 _|処置群_] わ 均因果効果 処置群 第 回目_TOEIC 均 コア

彼 _STARTプ 参加 いう 仮想

的 均 コア 差 定義

式 定義 均因果効果 推定 際 問題 右辺 第

項 如何 推定 いう点 あ 項 現実

START^{プ 参加 い 学生 プ 参加}

場合 生 仮想的 結果 あ 直接識別 可能

あ

4.2. ^{推定 ：}Difference-in-means

均因果効果 推定 単純 方法 対照群 均 コア 処置

群 仮想的 均_TOEIC コア 置 換え 推定方法 あ 推定方法 以 仮定 必要

仮定 ：_{E[yi (} 参加_)|処置群_{] = E[yi (} 参加_)|対照群_]

わ 仮定 処置群 _STARTプ 参加 彼

第 回目 均_TOEIC コア 対照群 等 い 要求 い わ 対照群 処置群 _START 参加 除 均的 質 学生

構 い 仮定 い 仮定 担保 状況

START^{プ 参加 否 完全 ン 決定 場}

合 挙 場合 処置群 対照群間 い _START 参加

否 あ 仮定 満

仮定 用い 式 以 う 変形

8

均因果効果＝処置群 均_TOEIC コア₋対照群 均_TOEIC コア ₍₂₎ わ 観察可能 処置群 対照群間 均 差(Difference-in-means)

均因果効果 識別 可能

(2)^{式 示 均 差 用い 推定方法 ンプ あ 時 仮定}

強く依 い 注意 必要 あ 第 章 紹 通 広島大

学 行わ い _STARTプ 志願制 あ 参加 否

ン 決定 い い 第 章図 示 通 _START前 行わ

第 回目 _TOEIC い 処置群 対照群 間 大 差 認 表 示 通 _START 参加 学生 一部 学部 偏 い

以 事実 処置群 対照群 間 _START参加 無以外 い 大

い 在 い 可能性 強く示唆 い う い

仮 処置群 _START 参加 い 彼 _TOEIC

コア 対照群 異 う 結果 仮定 満

難 く

4.3. ^{推定 ：}Difference-in-Difference

均 差 問題点 強い仮定 仮定 必要 点 あ 弱い

仮定 均因果効果 推定 方法 あ 差 差 推定

(Difference-in-difference) ^{導入 当該手法 必要 仮定 以 あ} 仮定 ：

E[yi ( ^参加)|^処置群] − E[yi ( ^参加)|^処置群]

= E[y_i ( ^参加)|^対照群] − E[y_i ( ^参加)|^対照群]

仮定 処置群 _STARTプ 参加 彼 第

回目 回目 均_TOEIC コア 差 対照群 差 等 い

9

要求 い

仮定 図示 以 う

図

仮定 対照群 _▲→△ 変化 対照群 _STARTプ 参加

いう仮想的 変化 _●→〇 等 い いう

要求 い 差 差 推定 優 性 必要 仮定 仮定

比 弱い点 あ わ 仮定 満 必 仮定 満 一方

仮定 満 言 必 仮定 満 い 実際 図

処置群 仮想的 均 コア 対照群 均 コア_△ 異 値

あ 仮定 満 い い

仮定 用い 式 以 う 書 換え

均因果効果＝_{E[yi (}参加_)|処置群_{] − E[yi (} 参加_)|処置群_]

− {E[yi ( ^参加)|^対照群] − E[yi ( ^参加)|^対照群]}

わ 観察可能 処置群 第 回目 回目 コア 差 対照

群 差 引い 値 わ 均 差 差 均効果 識別

以 う 差 差 推定 均 差 推定 比 緩や 仮定 均因

果効果 推定 優 手法 あ 当該手法 必要 仮定 仮

定 依然 難点 あ 仮定 処置群 _STARTプ

参加 い 第 回目 回目 _TOEIC コア 対照群

う 変化 い 要求 い 言い換え 処置群 対照群

イ ン 持 い 仮定 い 第 章

示 通 処置群 対照群 間 大 属性 い 在

う い 異 イ ン 可能性 在

10

例え 元々相対的 高い英語力 い 処置群 仮 _STARTプ

参加 大学在学中 語学学習 注力 結果対

照群 _TOEIC コア 大 く伸び い あ い 対照群 う

伸び あ _STARTプ 参加 処置群 比

伸び 大 い い

う 異 イ ン 問題 対処 本研究 傾向

コア 用い 推定 補正 試

4.4. ^{推定 ：}Abadie (2005)’s Difference-in-Difference

Abadie (2005) ^{傾向 コア 用い 弱い仮定 推計 方法 提案}

当該手法 必要 仮定 以 あ 仮定 ：

E[yi ( ^参加)|^処置群, X] − E[yi ( ^参加)|^処置群, X]

= E[y_i ( ^参加)|^対照群, X] − E[y_i ( ^参加)|^対照群, X]

記 仮定 _X 学生 観察可能 個人属性 表 第 章 推定 学生 所属 学部や専攻 び第 回目 _TOEIC コア 含

仮定 処置群 対照群 い 均的 イ

ン 持 必要 あ 対 仮定 処置群 対照群 属

性 専攻 第 回目 コア 持 学生 間 イ ン

持 要求

仮定 均因果効果 以

均因果効果＝_{E (}

� − �

Pr(^参加)^×

��(^参加) − � � =

− � _� = )

Pr ^{参加) STARTプ 参加 学生 割合} �_�(^参加) ^学生i

11

プ 参加 場合 う い場合 ₀ 関数 あ

� _� = ) ^{属性X 持 学生 STARTプ 参加 確率 表 傾向}

コア 呼

本研究 い 傾向 コア 線形確率 用い 以 推定

π = � + � ×^所属 + � ×^{第 回目} ����� ^コア

所属 各学生 所属 い 学部 学科 コ 示 変数 あ

以 章 傾向 コア 推計 際 所属 用い 結果

所属 第₁回目 _TOEIC コア 両方 用い 結果 報告

5. ^推計結果

第₄章 議論 均因果 対 推定 ， ， 式 い

実際 用い 推計 結果 表 い

表₃

表 Difference-in-sample ^{行 差 推定} (2^式)^{結果 示 い}

結果 _128.4 極 大 効果 推計 い ₄章 述

通 当該結果 多く 問題点 い

次 _DID 行 差 差 推定₍₃式₎ 結果 表示 い 推計値

44.3 ^{大 く 差 推定結果 多く 問題 含 可能性}

示唆 い 時 要 信頼性 高い差 差 推定 行

44.3 ^{いう依然 大 均効果 推定 統計的 意性} 高い

Abadie DID ^{行 傾向 コア 修正 差 差 推定}

異 傾向 コア 定式化 行 い 均効果 修正 結果 比

少 程度 依然 経済的 統計的 意 値 い

12

く 所属 第₁回目 _TOEIC コア 両方 傾向 コア 計算 結果

信頼性 高い 考え 推計値 _39.0 高い値 い

以 _STARTプ _TOEIC コア 均₃₉点程度押 因 果効果 持 推計 ₂₀₁₁ 度 _STARTプ 参加者 い 第₁回目 _TOEIC コア 中央値 ₅₅₅点 あ プ

因果効果 彼 中央値 ₇ ン 程度 当 十分 大

効果 あ 考え

最後 本推計結果 解釈 い 論 い 繰 返 述 い 本

研究 推計 _STARTプ 均因果効果 比較的大 値 あ

考え 当該効果 必 外国 ₂ 間程度行

効果 あ 解釈 必要 い 例え 海外 留学

決 学生 留学 自主的 語学学習 行う可能性 高い 表

3 ^{推計 因果効果} START^{プ 参加 起因}

因果経路 合わ 値 あ う 事前学習 効果 含 い

解釈 あ

傾向 コア 修正 依然 異質 イ ン

仮定 満 く う可能性 在 く 本分析 傾向

コア推計 用い 変数 学生 所属 最初 _TOEIC コア

あ 以外 要因 異質 イ ン

在 可能性 否定 い 表₃ 推定 依然 _START

プ 因果効果 正確 識別 い い可能性 残

．

13

本研究 ₂₀₁₁ 度 入学 広島大学生 用い 短期留学プ

START^{プ 学生 英語力} TOEIC ^{コア え 因果効果}

推定 試 推計戦略 留学プ 前後 _TOEIC コア

観察可能 差 差 推定法 用い 傾向 コア 補正

Abadie 2005)

分析 結果 留学プ _TOEIC コア 均₃₉点程度改善

いう効果 推定 当該学生 プ 前 _TOEIC

コア中央値 ₅₅₅点 あ 考え 十分 大 値 あ 考え

以 う 本研究 制約 中 筆者 考えう 最善 推計手

法 用い 短期留学プ 比較的大 因果効果 持 主張

本分析 いく 問題点 残 い 事実

あ く 傾向 コア推計 際 用い 個人属性 各学生

所属先 事前 _TOEIC コア あ 個人属性 追加 必要

あ 現在分析 使用可能 ベ 拡張 行 拡張

ベ 多く 個人属性 考慮 入 分析 必要

あ

14

参照文献

Abadie, A. (2005). Semiparametric difference-in-differences estimators. The Review of Economic Studies, 72(1), 1-19.

Holland, P. W. (1986). Statistics and causal inference. Journal of the American Statistical Association, 81(396), 945-960.

Imbens, G. W., & Rubin, D. B. (2015). Causal inference in statistics, social, and biomedical sciences. Cambridge University Press.

Imai, K. (2017). Quantitative Social Science: An Introduction. Princeton University Press.

Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of educational Psychology, 66(5), 688. Education First (2016). EF ^{英語能力指数}

日本学生支援機構 _{(2017). 27} 度 協定等 基 く日本人学生留学状況 調査結果

15

図 ：_STARTプ 後 第 回目 _TOEIC コア分布 注 処置群 分布 青線 Students with START ^{対照群 分布 赤線} Students without START ^記載

0

.001.002.003

0 200 400 600 800 1000

Score

Students with START Students without START

2nd TOEIC

16

図 ：_STARTプ 前 第 回目 _TOEIC コア分布 注 処置群 分布 青線 Students with START ^{対照群 分布 赤線} Students without START ^記載

0

.001.002.003.004

200 400 600 800 1000

Score

Students with START Students without START

1st TOEIC

17

● ○^：処置群 TOEIC ^{均 コア ：処置群 仮} START^{プ 参加 場合 仮}

想的 均 コア _▲ ：比較群 _TOEIC 均 コア

第 回目 _{TOEIC 第2回目 TOEIC}

図 ：仮定 図例

TOEIC ^{均 コア}

18

表 ：₂₀₁₁ 度_STARTプ 派遣国 期間

派遣国 期間 定員 応募者数

ア _{2011 2 18}日～_{3 4}日

59 102 ベ _{2011 2 29}日～_{3 13}日

ア _{2011 8 23}日～_{9 7}日 24 91

19

表 ：学生 出身学部

T A T 非 参 加 者 T A T 参 加 者 総 数

総 合 科 学 _{124 3 127}

文 学 _{116 11 127}

教 育 470 27 497

法 学 139 5 144

経 済 学 _{164 6 170}

理 学 _{214 2 216}

医 学 224 6 230

歯 学 86 0 86

工 学 _{475 4 479}

生 物 生 産 _{98 6 104}

薬 学 62 0 62

総 数 2,172 70 2,242

20

VARIABLES Difference-in-samples DID

START 124.8*** 44.28*** 35.81*** 38.97***

(15.04) (12.36) (11.53) (10.41)

Control No No 学生の所属

学生の所属＋

TA T前のTOEICス

コア

Observations 2,242 2,242 1,681 1,666

Abadie DID

表 ：推計結果

注 _START 列 推定 因果効果 数 標準誤差 表 _*:p値<0.1 **:p^値<0.05 ***:p^値<0.01 Control ^{用い コン 変数} Observations ^{推計 用い サンプ 数 表}

Abadie DID ^{い サンプ サン 落 い 傾向 コア イ 値 サンプ 除外}

い あ