4-1. ｢自然実験｣における内部的･外部的有効性を考慮した標準的分析手順
本節においては、2.における内部的･外部的有効性に関する整理･考察と3.における外部 的有効性などを用いた新たな分析手法の実証試験の結果に基づき、｢自然実験｣を用いて特 定の要因による処置効果を識別し更に混在する複数の要因による処置効果を分離･識別す る際の内部的･外部的有効性を考慮した標準的分析手順を説明する。
4-1-1. ｢自然実験｣における内部的有効性を確保した分析手順 (図4-1-1-1参照) 0) ｢自然実験｣の定義と内部的有効性
｢自然実験｣とは識別のための分析手法の一つであり、現実世界における個人や組織 に対して発生した外生的な事象や制度変更を利用して処置効果を推計する分析手法の 枠組みを指すものである。
｢自然実験｣を用いた分析において内部的有効性を確保するためには、これを用いて 分析しようとする分析課題と｢自然実験｣として用いる事象や制度変更が整合している こと及び両者の性質に応じて適切な計量分析手法が選択され必要な前提条件が充足さ れていることが必要である。
1) ｢自然実験｣における事前準備作業(1) 分析課題の分類･特定
｢自然実験｣を用いた分析を実施するに際しては、第一に事前準備作業として｢自然 実験｣により分析しようとする分析課題の分類･特定が必要である。
典型的な分析課題の種類としては観察指標の潜在的内生性、影響要因の複数混在性 及び通常状態での資料入手困難･稀少性の3類型が存在する。
2) ｢自然実験｣における事前準備作業(2) 事象や制度変更の分類･特定
｢自然実験｣を用いた分析を実施するに際しては、次に事前準備作業として｢自然実 験｣として用いる事象や制度変更の分類･特定が必要である。
典型的な事象や制度変更の種類としては直接的制度変更、間接的制度変更･事象及 び偶発的事象の3類型が存在する。
3) 内部的有効性確保-1: ｢自然実験｣として用いる事象や制度変更と分析課題の整合性 (事象や制度変更の内容限定)
1)で分類･特定した分析課題の種類に応じ｢自然実験｣として用いる事象や制度変更 の内容や計量分析手法を取捨選択する。
分析課題が観察指標の潜在的内生性の場合では内生性を疑われる要因の片方のみが 変化した事象や制度変更を用いるか、それが困難な場合に内生性を考慮した計量分析 手法を適用する。分析課題が影響要因の複数混在性である場合では特定の要因のみが 変化した事象や制度変更を用いて分析を行う。分析課題がや通常状態での試料入手困 難･稀少性である場合に対しては当該稀少な事態に該当する事象や制度変更を用いて 分析を行う。
4) 内部的有効性確保-2: ｢自然実験｣として用いる事象や制度変更の内生･外生性 (計量分析手法などの選択その1)
2)で分類･特定した事象及び制度変更が直接的制度変更又は間接的制度変更･事象 の場合には用いる計量分析手法に応じ外生性の確認を行う。事象及び制度変更が偶発
的事象である場合には当該確認は省略できる。
直接的制度変更又は間接的制度変更･事象の場合においては、直接的比較手法の適 用とランダム性の統計的確認や複合的比較手法と観察指標と処理の独立性(CI･CMI) の確認を組合わせて外生性の確認を行う。
5) 内部的有効性確保-3: ｢自然実験｣に対する分析対象の内生的行動可能性 (計量分析手法などの選択その2)
3)及び4)での分類･特定に応じて分析対象の内生的行動可能性について確認を行 う。分析課題が観察指標の潜在的内生性の場合又は事象や制度変更が偶発的事象であ る場合には当該確認は省略できる。
分析課題と事象や制度変更の組合せがこれらに該当しない場合には、分析対象の内 生的行動可能性の有無や程度について検討し必要に応じて内生性を考慮した計量分析 手法や補助的確認手法を追加するなどの対策を行う。
6) 内部的有効性についての判定･処置と評価分析
2)において検討した｢自然実験｣として用いようとする事象や制度変更が3)から5) の要件のいずれかに該当･適合しない場合には、当該事象や制度変更は分析しようと する政策評価の内容から見て｢不適格｣であると判定される。この場合には別の事象や 制度変更を探索し3)に戻って一連の検討手順を再実施する。
2)において検討した｢自然実験｣として用いようとする事象や制度変更が3)から5) の要件に抵触しない場合には、3)で適合が確認された事象や制度変更に関する試料 を用い、各計量分析手法の前提条件の成立を確認した上で4)及び5)で選択された計 量分析手法及び補助的確認手法を適用し、評価分析を実施し結果を得る。
外部的有効性を確認する必要がない場合にはここで評価分析は完了である。
[図4-1-1-1. ｢自然実験｣における内部的有効性を確保した分析手順]
事前準備作業
1- 政策評価上の問題における分析課題の分類･特定
･ 観察指標の潜在的内生性
･ 影響要因の多数混在性
･ 通常状態資料入手困難･稀少性
2- ｢自然実験｣として用いる事象や制度変更の分類･特定 - 直接的制度変更
- 間接的制度変更･事象 - 偶発的事象
内部的有効性確保
3- ｢自然実験｣として用いる事象や制度変更と分析課題の整合性
分析課題 事象や制度変更 (内容限定)
･ 観察指標の潜在的内生性 → 内生的要因の片方のみ変化した事象や制度変更
･ 影響要因の多数混在性 → 分析対象の特定要因のみが変化した事象や制度変更
･ 通常資料入手困難･稀少性 → 資料入手可能な稀少事態である事象や制度変更 4- ｢自然実験｣として用いる事象や制度変更の内生･外生性
事象や制度変更 計量分析手法･補助的確認手法 (手法選択)
- 偶発的事象 → ( 確認省略可能 )
- 直接的制度変更/-間接的制度変更･事象 → 確認必要
直接的比較手法の適用と事象や制度変更のランダム性の統計的確認 又は 間接的比較手法の適用と観察指標と処理の独立性(CI･CMI)の確認 5- ｢自然実験｣に対する分析対象の内生的行動可能性
分析課題･ 観察指標の潜在的内生性 → ( 確認省略可能 ) 事象や制度変更
- 偶発的事象 → ( 確認省略可能 )
分析課題及び事象や制度変更が上の2つの場合のいずれにも該当しない場合
→ 確認必要
分析対象の内生的行動の有無･程度確認、内生性を考慮した計量分析手法の適用
◆ ｢自然実験｣として用いようとする事象や制度変更が3-～5-の要件に適合しない場合には、
別の事象や制度変更を探索し2-に戻って一連の検討手順を再実施する(｢不適格｣) 6- 評価分析実施評価分析
3-で適合が確認された事象や制度変更に関する試料利用
4-及び5-で選択された計量分析手法及び補助的確認手法を前提条件を確認した上で適用 ( 外部的有効性を確認する必要がない場合はここで評価分析完了 )
4-1-2. ｢自然実験｣における外部的有効性などの確認手順 (図4-1-2-1参照) 1) ｢自然実験｣の結果と外部的有効性･部分外部的有効性
4-1-1で分析された結果は、特定の条件下で｢自然実験｣による処置効果が推計でき たに過ぎず、他の地域･時点･対象など異なる条件下での外挿･予測などの推計に用い るためには更に外部的有効性などを確認することが必要である。
｢自然実験｣による処置効果の推計において外挿時の予測誤差が推計できている場合 など影響規模や影響期間などの完全な情報が得られている場合が外部的有効性が確認 された状態であり、影響規模又は影響期間などのうち部分的な情報のみが得られてい る場合が部分外部的有効性が確認された状態である。
2) 外部的有効性の確認における事前準備作業: 類似推計結果や予測誤差の説明変数の収集
･整備
｢自然実験｣を用いて推計された特定の処置効果について外部的有効性などを確認す るに際しては、事前準備作業として類似の｢自然実験｣による処置効果の推計結果を多 数収集･整備するとともに、特定の処置効果を外挿した際の予測誤差を説明する説明 変数を収集･整備することが必要である。
当該予測誤差の説明変数については、特定の｢自然実験｣により推計された処置効果 を外挿･予測した際に地域･時点･対象に関する特性を記述しあり得べき誤差を説明す る変数であり、個人･家計であれば所得や財サービスの価格、組織･企業であれば該当 業種の経営指標や金利などが考えられる。
3) 外部的有効性などの確認
｢自然実験｣を用いて推計された特定の処置効果について2)で収集･整備した類似の 推計結果を用いてこれを他の事例に外挿した際の予測誤差を推計し、当該予測誤差を 適切なモデルを設けて2)で収集･整備した説明変数により推計する。
4) 外部的有効性などについての判定･処置と評価分析