教育政策分野における付加価値モデルの方法的論点

全文

(1)Title. 教育政策分野における付加価値モデルの方法的論点. Author(s). 橋野, 晶寛. Citation. 北海道教育大学紀要. 教育科学編, 69(2): 59-72. Issue Date. 2019-02. URL. http://s-ir.sap.hokkyodai.ac.jp/dspace/handle/123456789/10391. Rights. Hokkaido University of Education.

(2) 北海道教育大学紀要（教育科学編）第69巻第２号 Journal of Hokkaido University of Education（Education）Vol. 69, No.2. 平成 31 年２月 February, 2019. 教育政策分野における付加価値モデルの方法的論点橋野晶寛北海道教育大学旭川校教育学教室. The Methodological Issues of Value-Added Models in the Context of the Education Policy HASHINO Akihiro Department of Education, Asahikawa Campus, Hokkaido University of Education. 概要パネルデータの回帰分析の応用としての付加価値モデル（Value-Added Model: VAM）は学術的な教育学研究の文脈での実証分析のみならず，1990年代以降には教員評価・学校評価の実務において適用がなされてきた。また，こうした適用と並行して，教育学・経済学研究内部で統計モデル開発とその検討が行われてきた。本稿では，これまでの教育政策分野における付加価値モデルの方法的論点を整理・検討すると共に，その実務上の含意の指摘を行い，教育分野における研究―社会間関係の中核事例として今後の考察のための視点を提示する。. １．教育政策分野における付加価値モデルの文脈本稿では，教育政策分野における付加価値モデル（Value-Added Models: 以下VAMと表記）の方法的論点の整理・検討を行う。教育学における実証研究では，大規模調査データを用いた計量的実証研究が一定の地位を占めてきた。特にアメリカでは，教育学が学問領域として確立されて間もない20世紀初頭より，調査・測定および統計学的分析が積極的に導入されてきた。例えば，偏相関分析や回帰分析といった多変量解析は既に1910年には導入されており，因子分析や項目反応理論といった今日の教育測定に不可欠の手法も1930年代以降に大きな発展を見たのである。こうした教育学分野における統計学の，主たる適用領域は教育心理学分野であり，教育統計学・教育測定もそのために特化した方法を提供してきたと言える。また，20世紀半ば以降，教育政策・行政といったマクロな領域――個人の心理，学習・発達といった領域に対して相対的な意味でのマクロな領域――においても回帰分析を中心とした計量的手法が多用されるようになった。「コールマン報告」に触発されて数多く行われてきた教育生産関数研究はその主要例であり，教育学のみならず，他の社会科学領域の研究者の参入を促してきた。. 59.

(3) 橋野晶寛. こうした計量的実証研究の興隆はアメリカの社会科学領域全般に共通する傾向であるが，他の先進国でも現実の政策評価を担う学問領域では，「エビデンスに基づいた政策（形成・決定）」「データに基づいた意思決定」が唱導されている。教育政策・行政領域においても，計量的手法の導入は学術的研究の文脈だけではなく，事業評価や組織評価といった実務の文脈において広範な適用が図られている。本稿で検討するVAM によるアカウンタビリティシステムはその典型と言える。 VAMは，パネル・クラスターデータを用いた回帰分析の手法を，個人・組織評価に転用したものである。成果ベースの評価を行う際に，評価の材料として個々の教員・学校・学区の成果の寄与を推計する必要が生じるが，その際に問題となるのは，認知的能力・非認知的能力などの学校教育の成果は様々な要因の複合物であり，成果のローデータ――例えば学級別・学校別学力テストの平均点――はそのままでは評価の材料になりえないという点である。そこで，回帰分析やマッチングなどによって過去の成果，社会経済的要因などの共変量調整を行った上で，個々の個人・組織の寄与を測るのである。教育学研究では1990年代以降，VAMの適用だけではなく，その方法論，政策過程（政治・司法）を対象とした議論が数多くなされてきた1。このように広く耳目を集めてきたのは，ハイステークスな性質の教員評価・学校評価の実施によって実務家の利害との衝突の可能性が生じたからに他ならない。「コールマン報告」および以後の実証研究では，教育水準向上・格差是正において政策的要因の寄与が小さいことが繰り返し析出されてきたが，そうした中で教員の質に関心が寄せられてきた。ただし，それは従来的な教員の質をめぐる政策観とは異なったものである。従来の議論では，給与水準や教員免許・資格，経験年数といった「投入」が質と関連を持つという前提の下で，投入ベースの教員政策が考えられてきたが，そうした投入と教育成果との関連が弱いという事実関係が白日の下に晒されるに従い，教育成果への寄与によって直接的に教員の質を測り，それを教員の処遇に連動させるという成果ベースの教員政策＝アカウンタビリティシステムの確立が主張されるようになってきたのである。また，現実の政策の場面においても，アメリカでは，オバマ政権期に，連邦政府が各州・学区に競争的補助金を通じて，テストベースのアカウンタビリティシステムの構築を誘導してきたという背景がある。教育政策・行政分野でVAMが言及される文脈は，教員評価での局面が多いが，その評価単位に限定はなく，原理的には学校や基礎自治体（学区）を単位とした行政・経営評価にも適用可能である。イギリスにおける学校評価のLeague Tableの情報はVAMによって提供されてきたのであり2，また，学術的研究の文脈ではあるが，VAMを用いて教育長による行政能力の評価を行った実証研究も登場している（Lavy&Boiko 2017）。 VAMは，同一の児童・生徒個人を追跡したパネルデータ等のインフラ整備によって可能となるのであり，日本はそうした環境にほど遠いものの，他の先進国と同様に――アングロサクソン型社会におけるハイステークスなシステムを採用するかはともかくとしても――，教育政策に対するアカウンタビリティシステムの需要は存在している。学術的・政治的文脈に照らしてVAMの方法上の論点を理解しておくことは，教育学研究および現実の教育政策をめぐる議論において長期的に資することとなろう。既にVAMの方法的前提やレビュー論文がいくつか登場しているが，本稿ではそれらの知見を整理するとともに，筆者による見解を加えて総合し，今後に向けての課題提起を行う。次節では，いくつかのタイプのVAMを紹介する。3節では，その方法的前提に関する議論および筆者による方法上の論点を列挙した上で整理し，4節では今後の研究課題を述べる。. 60.

(4) 教育政策分野における付加価値モデルの方法的論点. ２．VAMの類型日本において，教員評価の文脈でVAMが言及されることは少なくないが，その際に統計モデルとしての VAMが複数存在すること自体は等閑視されている。VAMの開発には，教育統計学・教育測定の研究者と，経済学研究者――ただし，必ずしも計量経済学の専門研究者とは限らない――といった異なる学問領域の研究者が関わっているのであり，提示されるモデルは同一ではなく，付随する方法上の問題も異なってくる。また，実務においても各国・自治体で採用されるVAMによる評価システムも異なっており，そこで採用されている分析モデルとその長短を正確に理解する必要がある。まずは，次節で述べる方法上の論点を理解する上で必要最小限の類型を提示しておく。２．１．基本モデル VAMの最も単純な設定として2期のデータポイントを想定する。すなわち，期首（t-1期）と期末（t期）の2期から成る。期首・期末は学期・学年内での期首・期末に限定されず，単に観察された期間内での相対的な区分に過ぎない。測定する当該科目は全て同一の担当教員が授業を行う（期間内での教員の交代やティームティーチングは想定しない）。期首と期末に実施する成果はリンキングされており，比較可能となっている。期末（t期）における教員j＝j（i,t）の学級の児童iの成果をyijt，同じく期首の成果をyij,t-1とする。t期の児童・生徒iの家庭背景等成果を規定する観測要因をXit，非観測要因を εitとすると，VAMは式⑴のように表現することができる。 . ⑴. 式⑴中の υjは，期首の成績と児童・生徒，学校の社会経済的要因などを統制した上での，期末の成績に対する教員jの寄与分であると解釈される。 γ＝1の時，2期間での増分（gain）を被説明変数とした式⑵のモデルとなる。 . ⑵. 増分モデルは解釈の容易さという点で利点があるが，式⑴に強い制約を課したものとも言える。また，期首の成績の影響について線形ではなく，式⑶のようにより柔軟な関数形を考えることもできる3。 . 数式修正. ⑶. また，データが3期以上に渡るケースでは，式⑷のように直近以前の成績についても統制変数として加えることも考えうる。式 (4) . yijt = γ1 yij,t−1 + γ2 yij,t−2 + γ3 yij,t−3 + · · · + Xijt β + υj + ϵijt. (4). ⑷. ２．２．固定効果モデル式 (7) 式⑴について，教員効果 υ について観測変数Xとの相関を許容する場合，通常のパネル・クラスターデー. υˆjs =. 1 ∑∑ ϵîjst njs i t. (7) 61.

(5) 橋野晶寛. タの固定効果モデルによって推定される。多くの経済学研究者は，この固定効果モデルをVAMとして用いている。全ての教員効果を推定するには，定数項を落とすか，教員効果について式⑸の制約を加える必要がある。 . 数式修正. ⑸. また，固定効果モデルでは観測変数Xに非時変的変数を含めることはできず，非時変的変数の影響は，固. 式 (4) 定効果に吸収される。学校レベル，学区レベルの固定効果を同時に導入するには，多くのダミー変数を含む説明変数行列が必要となり，行列演算における計算負荷が大きくなる。その負荷を軽減するため，しばしば. yijt = γ1 yij,t−1 + γ2 yij,t−2 + γ3 yij,t−3 + · · · + Xijt β + υj + ϵijt. (4). 式⑹⑺の2段階推定が用いられる。例えば，下記は学校レベルの固定効果 τsを含むモデルであり，まず，式 ⑹の回帰式を推定し，その残差から教員効果を推定する。式 (7). ⑹. . υˆjs =. 1 ∑∑ ϵîjst njs i t. (7). ⑺. ２．３．変量効果モデル式 (9) 教育統計学・教育測定の分野では，教員効果 υ について式⑻のような変量効果を仮定するモデルを採用することが多い。 . 数式修正. yi1 = µ1 + υj(i,1),1 + ϵij1 yi2 = µ2 + υj(i,2),2 + υj(i,1),2 + ϵij2 yi3 = µ3 + υj(i,3),3 + υj(i,2),3 + υj(i,1),3 + ϵij3. ⑻. .. .. 変量効果としてモデリングするためには，観測変数Xと教員効果 υ とが無相関でなければならず，そうで. yiT = µT + υj(i,T ),T + · · · + υj(i,2),T + υj(i,1),T + ϵijT. ないならば，教員効果はバイアスを持つことなる。変量効果を仮定することの利点は，教員効果が事前分布式 (4) を持つ縮小推定量となり，より小さい分散が得られるという点である。また，観測変数Xに非時変的変数を. υj,1 = υj,2 = · · · = υj,T = υj. 含めることが可能である。パラメータ推定は最尤法やMCMCによって行う。 υj ∼ N (0, σ 2 ). yijt = γ1 yij,t−1 + γυ,j 2 yij,t−2 + γ3 yij,t−3 + · · · + Xijt β + υj + ϵijt. (9) (4). ２．４．EVAAS（Education Value-Added Assessment System）モデル VAMが教員評価の文脈で90年代に登場した際に，Sanders&Horn（1994）によって示されたのが，変量. 式 (7) 効果モデルの特殊形であるTVAAS（Tennessee Value-Added Assessment System）モデルである。後に統計解析ソフトウェアの大手ベンダーであるSASがこのTVAASモデルを採用し，現在までにテネシー州以 ∑∑. 1. (7) υˆjs = Value-Addedϵîjst 外にいくつかの州にEVAAS（Education Assessment System）として提供してきた。 n js. i. t. EVAASモデルでは，1人の児童・生徒の成績が累積的に複数の教員から影響を受けることを想定している。各期での担任・担当教員の教員効果を υjtとすると，累積的に各期の教育成果に関する回帰式は式⑼のように書くことができる。式 (9). yi1 = µ1 + υj(i,1),1 + ϵij1 yi2 = µ2 + υj(i,2),2 + υj(i,1),2 + ϵij2 yi3 = µ3 + υj(i,3),3 + υj(i,2),3 + υj(i,1),3 + ϵij3 .. . 62. yiT = µT + υj(i,T ),T + · · · + υj(i,2),T + υj(i,1),T + ϵijT 15 υj,1 = υj,2 = · · · = υj,T = υj.

(6) yi1 = µ1 + υj(i,1),1 + ϵij1 yi2 = µ2 + υj(i,2),2 + υj(i,1),2 + ϵij2 教育政策分野における付加価値モデルの方法的論点 yi3 = µ3 + υj(i,3),3 + υj(i,2),3 + υj(i,1),3 + ϵij3 .. . yiT = µT + υj(i,T ),T + · · · + υj(i,2),T + υj(i,1),T + ϵijT. . υj,1 = υj,2 = · · · = υj,T = υj 2 υj ∼ N (0, συ,j ). (9). ⑼. また，欠測がなければ，2期の差分をとると式⑽のように表現でき，通常の変量効果モデルと見なすことがきる。ただしε’ijt＝εijt−εijt-1である。 . ⑽. このEVAASモデルでは共変量は含まれていない。Ballou et al.（2004）では児童・生徒の社会経済的背景など共変量を伴うEVAASモデルが示されているが，教員評価システムとしては共変量を伴わないモデルが提供されている4。２．５．Student Growth Percentile（SGP）モデル VAMそれ自体ではないが，複数期間の成果データを用いた記述的モデルとしてスプライン分位点回帰モ 5 。SGPでは，期首のデルを用いたStudent Growth Percentile（以下SGP）モデルがある（Betebener 2011）. 成果の値に条件づけた期末の各児童・生徒の成果のパーセンタイルを算出する。条件付き分位点関数 Q（τ y ｜yt-1）は式⑾のように定義される。. 15 . ⑾. 条件付き分位点関数はスプライン関数を用いてノンパラメトリックに推定される。Bスプライン関数の基底をB（・）とすると，式⑿のように表される。 . ⑿. τ について漸次的に値を変えながら，条件付き分位点関数を推定し，式⒀のような大小関係が得られた時，yijtの条件付きパーセンタイルランクは100×τpとなる。. . ⒀. こうして得られた条件付きパーセンタイルランクを担当教員単位で要約した値が教員効果となる。要約統計量には，平均値または中央値を用いる。SGPモデルの利点は解釈の容易さにある。SGPモデルはあくまでも記述的性質に留まるものであるが，実際には各種評価システムに運用されており6，ジョージア州，バージニア州など10数州で教員評価に用いられている。. 63.

(7) 橋野晶寛. ３．VAMの方法上の論点 VAMに関する方法上の前提や課題の個別論点については既に数多くの研究で指摘ないし検証がなされており，そうした研究を網羅的にフォローすることは筆者の能力を超える。方法上の論点に関して総括的に示したものとしては，Amrein-Beardsley（2014: Ch5），Amrein-Beardsley&Holloway（forthcoming），Everson （2017），Koedel et al.（2015），Reardon&Raudenbush（2009）などがある。以下ではそれらで共通して指摘されている重要論点を整理するとともに，筆者による指摘を加えることとしたい。３．１．アドホックなモデリング VAMの第1の問題は，モデリングがアドホックであること，もしくは理論との対応関係が不明確である. 数式修正という点である。このことはVAMの派生元の教育生産関数研究にも共通している。認知的能力（学力）に限らず，様々な教育成果の形成プロセスは累積的であると考えられる。すなわち，ある時点での成果は同時点での投入（政策・学校によるものに限定されず，家庭や地域などからの投入を含む）のみならず，過去の. 式 (14). 投入の影響を受ける。今，式⒁のような教育生産関数を考える。. . yijT = f (XijT , Xij,T −1 , ..., Xij,0 , µj , ξijT ). = XijT αT + Xij,T −1 αT −1 + · · · + Xij0 α0 + ηT · µj + ξijT. (14). ⒁. 関数f（・）についてはアプリオリな仮定はないが，式のように便宜的に線形関数が用いられることが多い。yijtは時点t，学校jにおける生徒iの教育成果，Xは時変的投入，µ は学校レベルの観測されない非時変的投入，ξ は非観測要因である。これを真のモデル，もしくは現実を表現した妥当なモデルと措定する。式⒂のVAMがこうした仮定・過程を節約的に表現できると考える。 . ⒂. 上式を展開すると，式⒃が得られる。. . ⒃. すなわち，αt＝γT-tβ という関係が得られる。実際の分析での推定値は0＜ γ ＜1となるから，VAMは，過去の投入の効果が定率で減少するという強い制約を設けていることになる。同様に，μ の効果も同じ率で減衰することを仮定している（Todd&Wolpin 2003; Rothstein 2010; Guarino et al. 2015）。また式⑵の増分を被説明変数とするモデルおよび式⑼のEVAASモデルでは，γ＝1と予め固定されており，過去の教員・学校の効果は減衰しないことを仮定している。このことは更に強力な仮定――というよりも非現実的な仮定――である。Mariano et al.（2010）では過去の教員効果が可変的なEVAASモデルが考案されているが，実際の教員評価システムでは用いられていない。この幾何級数的な減衰パターンの制約は，VAMにおいて定数係数の線形モデルを用いた場合に生じることであるが，実際の実証分析，ほとんどの評価の実務では定数係数の線形モデルが使われており，広く該当する問題である。過去の成果・投入変数の影響の部分の関数形を非線形にする，過去の成果・投入のラグ変. 64.

(8) 教育政策分野における付加価値モデルの方法的論点. 数を多く投入する，係数を可変係数にするといった柔軟な形でモデル化した時に，関心のある学校効果（教員効果，学校効果）の推定値がどのように変動するかという感度分析は積極的に試みられるべきであろう。３．２．成果変数は間隔尺度か VAMのデータ上の重要な前提として，成果変数が間隔尺度（もしくは比例尺度）であるという点がある。間隔尺度・比例尺度では値の差分に意味を持つ。例えば，成果変数の値が，−1，0，1の値をとる時，−1 と0間の差と0と1の間の差の意味は等しい。成果変数が間隔尺度であるという条件は，共時的にも通時的にも必須である。反実仮想モデルの枠組みに従えば，教員・学校効果は，実現した処置（担当・担任教員，所属学校）の下での成果と実現しなかった処置の下での潜在的成果との差分となるのであり，間隔尺度でなければ推定された教員・学校効果のパラメータは意味を持たない。また，通時的には，増分を被説明変数とする式⑵のモデルでは明示的に2時点間の成果変数の差分が用いられているのであり，また差分をとるためには，その前提として間隔尺度であるのみならず，成果変数が時点間で比較可能であるように尺度化されていなければならない。VAMで成果変数（多くの場合，学力テストのスコア）に用いられるのは，通常，項目反応理論によって推定された能力パラメータの事後平均であり，異なる時期間のスコアを比較可能にするために垂直的尺度化（Vertical Scaling）が施されている7。しかし，項目反応理論による能力パラメータは間隔尺度であるという教育統計学・教育測定での一般的な想定に拘わらず，VAMの方法的検討の文脈において能力パラメータが間隔尺度の条件を満たしていないのではないかという疑義がBallou（2009），Jacob&Rothstein（2016）から提起されている。すなわち，能力パラメータはあくまでも順序尺度としての情報しかなく，既存のVAMの手法の適用は不適切なのではないかという主張である。こうした根本的な懐疑から，成果変数が間隔尺度であることに依存しないSGPモデルに注目が集まっているのではないかと思われる。３．３．教員・学校効果のバイアス：条件付き独立，処置効果の同質性，関数形 VAMの方法上の議論の中で最も中心的な論点は，教員・学校効果の推定値が不偏性，一致性を持つかという点である。この点に関する議論は因果的推論における反実仮想モデルの文脈から考えることができる。 Reardon&Raudenbush（2009）は因果的推論の文脈からVAMを捉えた時に以下の6条件を列挙している。１）操作性（manipulability）２）外部効果の不在（stable unit treatment value assumption: SUTVA）３）間隔尺度４）処置効果の同質性５）処置割当の条件付き独立性（conditional independence assumption: CIA）６）正しい関数形・共通のサポート１）の操作性とは，処置を割り当てられた際に，処置の各値に対して１つ以上の潜在的結果を持つことであり，VAMの文脈に即して言い換えれば，どの児童・生徒も全ての学級・学校に所属しうることを意味する。２）のSUTVAとは，ある個人の潜在的結果は，他の個人に割り当てられた処置に依存しないことであり， VAMの文脈で言えば，ピア効果がない――所属学級・学校の他の児童・生徒の構成が教育成果に影響を与えない――ということを意味する。３）の間隔尺度は前項で述べた通りである。. 65.

(9) 橋野晶寛. ４）の処置効果の同質性は，処置の効果が個人間で等しいことを意味する。VAMの文脈で言い換えれば，児童・生徒の社会経済的背景や居住地域の環境によらず，教員・学校の教育成果への寄与は一定であるということである。５）の条件付き独立性とは，処置以前に決定される観測変数で条件づけた時に，潜在的結果が処置の割当に対して独立になることである。VAMの文脈で言えば，各教員・学校に所属する児童・生徒について，データを入手できた変数（過去の成績，社会経済的背景）以外は，同じ性質の集団であることを意味する。６）の正しい関数形・共通サポートとは，観測変数について実際に値が観測されない変動域であっても，潜在的結果と観測変数との関係を表す関数が正しく特定されること，あるいは，全ての教員に対して全てのタイプの児童・生徒が存在することを意味する。 Reardon&Raudenbush（2009）は3），4），6）の前提条件が満たされない場合の影響を明らかにしている。シミュレーションデータの分析では，どの仮定も満たされない時は，推定値にバイアスが生じるが，特に，学校効果に異質性があるにも拘わらず同質性を仮定したモデルで推定した時に，影響が大きくなることが示されている。教員・学校効果のバイアスの議論で最も関心が寄せられるのは，5）の条件付き独立性が満たされないケースである。すなわち，教員・学校の割当が無作為ではなく，内生性（処置変数と非観測要因の相関）によるバイアスが生じる場合である。VAMの文脈で内生性の原因としてありうるのは，省略変数およびソーティング（教員による児童・生徒のソーティング，親による学校のソーティング）である。この問題はVAM の根幹に関わるものであり，主に経済学研究者によって分析がなされているが，現時点で意見の一致を見ているとは言い難い。 Rothstein（2009，2010）は，ソーティングが存在するか否かをノースカロライナ州の小学生のデータを用いて検証している。基本的なアイディアは，本来影響を与えるはずのない5年生時点での教員割当が，4 年生時点での成績の増分に影響を与えているか否か（因果的効果の要件としての強外生性の成立の有無）を分析するというものである。Rothstein（2009，2010）の結果は，学校内における教員の児童・生徒のソーティングが存在することを示すものであった。また，教員効果の真値と推定値の相関をシミュレーションし，非観測変数によるセレクションがある場合，相関係数は0.5程度に留まり，VAMによる優秀教員の特定率は 5割程度に留まることを明らかにしている。このことはVAMがアカウンタビリティシステムに寄与しないことを示唆している。一方で，Chetty et al.（2014）は教員の質に関する情報を提供する上でVAMが機能していることを主張している。省略変数によるバイアスの問題について，家庭背景や直近以前の成果変数がVAMに含まれなかったとしても，統制変数として直近の成果変数（yt-1）が含まれているモデルであれば，バイアスが無視できるほど小さいことを示している。また，外生的変動としての教員の移動・異動――同一学校内でのクラス替え，他の学校への転出，他の学校からの転入――を利用した準実験では，VAMで測った教員の質の変動が成績に大きな影響を与えていること，非観測変数がもたらすバイアスも非常に小さいことを明らかにしている8。３．４．教員効果・学校効果の精度・安定性 VAMにおける個々の教員効果および学校効果の分散は，学級規模・学校規模とモデルのあてはまりの度合いに依存する。すなわち，小規模学級・小規模学校において，教員効果・学校効果の分散が大きくなる。問題となるのは，そうした学級規模・学校規模と児童・生徒の社会経済的背景とが結びついているのかという点である（Stacy et al. 2013; Herrmann et al. 2016）。小規模学級・小規模学校において，不利な社会経済. 66.

(10) 教育政策分野における付加価値モデルの方法的論点. 的背景の児童・生徒が多いのであれば，アカウンタビリティ政策の主たる対象となる層の学習指導を担う教員・学校のVAMによる推定値は不安定なものとなる。変量効果モデルでは，個々の教員・学校効果の点推定値および分散は縮小推定量となる。式⑴のモデルの誤差項 ε が平均＝0，分散＝σ2の正規分布に従い，また変量効果が式⑻の正規分布に従うと仮定し，それを事前分布と見なすと，υ およびその分散の縮小推定量は式⒄のように表される。. . ⒄. 式中の・以後の部分が縮小推定量でない時の推定量であり，［］の部分がその係数となっている。［］の部分は必ず1未満となるため，点推定値は υ の平均値に向けて縮小し，分散も小さくなる。言い換えれば，縮小推定量は精度を大きくするのと引き換えにバイアスを導入していると言える。こうしたバイアスと精度のトレードオフという変量効果モデルの性質を積極的に捉えるか否か判断が分かれる9。また，VAMにおける教員・学校効果の推定値については，その通時的変動を許すモデルにおいてはその通時的安定性も議論の対象となっている。McCaffrey et al.（2009）は，VAMの教員効果の推定値の年度間の相関が小学校では0.2～0.5，中等学校では0.3～0.7となることを示している。通時的相関が低いことは，ある年度において優秀な教員として評価された者が，翌年には劣等と評価されること（あるいはその反対のケース）が生じうることを意味する。こうした通時的変動の存在をVAMが専門職としての教員の能力を正しく推定していない証拠ととるか，教員個々人の努力による変動を正しく反映したものと考えるかは，重要な解釈の相違となろう10。３．５．加法的な教員・学校・自治体効果最後に，既存の実証分析では検証の対象となっていないVAMの前提について指摘しておきたい。教員効果，学校効果が固定効果で推定されるにしろ，変量効果で推定されるにしろ，既存のモデルは，児童・生徒の教育成果の生産における教員・学校の寄与が，加法的であることを仮定している。このことは教育活動のプロセスの現実との対応関係をふまえてのことというよりも，分析上の便宜的仮定にすぎない。こうした加法的な効果の仮定は，補完性を捉えることができない。例えば，小学校低学年の時に優秀な教員の下で学習指導を受けた児童と，そうでない教員に学習指導を受けた児童とでは，高学年の時に同じ優秀な教員が割り当てられた時の影響は異なるかもしれない。つまり，低学年の時の担任教員の教員効果と，高学年の時の担任教員の教員効果が補完関係にあることは十分考えうる。あるいは，教科担任制の中等教育において，数学教員の教員効果は理科教員の教員効果と補完関係にあるかもしれない。学校効果に関しては，学校間の補完性を想定するのは難しいかもしれないが，学校が完結した経営組織ではなく，教育委員会（学区・市町村教育委員会）の指導・助言などの支援によって成立している場合，学校効果と自治体効果という異なるレベルにおいて補完関係が生じる。. 67.

(11) 橋野晶寛. こうした補完関係の有無は，アプリオリに想定できるものというよりも，国間・地域間の学校統治の様式や労働環境の相違を反映したものであり，教育政策研究の実質的知見がふまえられる必要がある。. ４．考察この論稿では，教育政策分野におけるVAMについて方法的検討を行った。VAMの類型化，重要な方法的論点の整理・検討，その実務上の含意等を議論したが，言及されていない方法論的研究および論点は少なくない11。教育成果に関して，その水準（テストスコアなどの平均点）や変化（今年度の平均点と前年度の同学年の平均点の差分）ではなく，経時的な増分もしくは前年度の同一学年・個人の成績に条件づけた今年度の成績を評価の比較対象とするという，VAMの抽象的なレベルでのアイディア自体は，比較的理解しやすいであろう。日本の文脈で，VAMに基づく教員評価・学校評価の近い将来における導入は，必要となるデータの整備の状況から考えれば可能性は小さいが，学校・教育行政機関に対するアカウンタビリティの要請は潜在的には小さくない。問題となるのは，そうした時に，遥かに劣る道具立て――例えば，1時点での学力テストの平均点での学校評価など――によって代替が起こる可能性である。教育政策において成果に基づくアカウンタビリティが不可避であるならば，VAMの考え方自体を支持する向きは，決して少なくないと思われる。しかし，VAMの基本的なコンセプト，そして初期の実際の分析モデル（線形固定効果モデルやTVAAS モデル）の理解は比較的容易であるものの，VAMの方法自体が研究対象となって久しく，新しく提起されるモデルだけでなく，問題となっている論点の共有自体が困難となりつつある。学術的文脈について言えば，VAMの方法的議論には，教育統計学・教育測定における項目反応理論とミクロ計量経済学における内生的処置変数に関する因果的推論という，複数分野に跨る統計学の理解が求められるという背景がある。どちらもVAMの議論と並行する時期に研究が著しく大きく進展した分野であり，教育や労働といった実質的政策を研究対象としている専門研究者であっても，双方の分野での議論に通暁することは早晩困難となろう。一方で，実務的文脈について言えば，アカウンタビリティシステムに利害を持つ者が広範囲に存在するという背景がある。それは教員や教育行政職員といった「教育の専門家」だけでなく，情報を享受する家庭や住民なども該当する。こうした研究者共同体の外部者にとって，その情報の内容自体は大いに耳目を集めるものだが，情報の伝達は伝言ゲームの如く行われる12。また，VAMの道具立ての妥当性に関する評価も利害に即して行われ，「エビデンス」が取捨選択される可能性もある13。こうしたイシューの特質をふまえて，方法的議論を，メタレベルの政策過程の文脈――政策の過程と帰結 ――に接続させ，検討を深めていくことが今後必要となろう14。. 注１これまで，教育学関係の専門ジャーナルでは，以下において付加価値モデルによる評価の特集が組まれている。・Journal of Educational and Behavioral Statistics, Vol. 29, No. 1 (2004) ・Education Finance and Policy, Vol. 4, No. 4.（2009）・Education Policy Analysis Archives, Vol. 21. (2013) ・Teachers College Record, Vol. 116, No. 1. (2014) ・Educational Researcher, Vol. 44, No. 2. (2015). 68.

(12) 教育政策分野における付加価値モデルの方法的論点. ・Journal of Research on Educational Effectiveness, Vol. 8. No. 1 (2015) もちろん，こうした特集以外にも広範なジャーナルにおいて，付加価値モデルに関する膨大な数の論文が発表されている。２イギリスのLeague Tableにおける付加価値モデルによる評価の来歴については，Ray et al. (2009), Leckie&Goldstein(2011, 2017)の記述を参照。について3次多項式を用いている。３例えばChetty et al.（2014a），Hanushek et al.（2016）は，式⑶のf （yt-1）４ EVASS-SASのマニュアルにおいても児童・生徒レベルの共変量はモデルに含まれていない（Wright et al. 2010）。５ SGPモデルは，コロラド成長モデル（Colorado Growth Model）とも呼ばれる。６この事実をもって，SGPモデルの記述的用途を超える用途が正当化されるわけではない。ただし，Goldhaber et al.（2014）は，固定効果モデルによる付加価値モデルとSGPの教員効果推定値の間には，非常に高い相関があることを示している。７テストは同一の児童・生徒が複数回受験することになるが，同一の児童・生徒の各期の学力は時変的なもの（別人のもの）として推定される必要がある。こうした垂直的尺度化を行うために，少なくとも連続する期のテストにおいて共通問題を含むようにテストを計画（共通項目計画）する必要がある。８ Rothestein（2009，2010），Chetty et al.（2014）およびその後のソーティングに関連する議論については，Altonji& Mansfield（2018），Chetty et al.（2016），Chetty et al.（2017），Dieterle et al.（2015），Goldhaber&Chaplin（2015）， Kinsler（2012b），Koedel&Betts（2011），Rothstein（2017）も参照。９ Herrmann et al.（2016）は，精度と児童・生徒の不利――低い期首の成績，不利な社会経済背景――との間に相関があり，縮小推定量が，不利な児童・生徒に対峙する教員が極端な推定値の分布に従うことから保護していると解釈している。 10 教員効果の時点間，教科間，成果指標間での安定性に焦点をあてたものとしてBerlinder（2014），Kyriakides&Creemers （2008），Papay（2011），Strunk et al.（2014）など。 11 本稿で言及することのできなかった文献・論点については，Everson（2017）を参照。現時点ではこの文献が最も広範に VAMの方法上の論点について整理をした文献だが，それでも網羅的であるとは言い難い。 12 このことはVAMに用いられている統計学的モデルの理解が難しいだけでなく，一部の基本的な統計学の用語・概念が日常的用語に近く，誤解を招き易いことに由来する。Leckie&Goldstein（2011）は，イギリスのLeague Tableにおける付加価値の精度（信頼区間）について議論している。そもそも頻度主義における信頼区間が，市井の人々に正確に理解される可能性は極めて低いと思われる。また，アメリカのVAMのベンダーに典型的であるように，モデルの性能について意図的に誇大広告が行われている。 13 VAMに基づくアカウンタビリティシステムの反対派はRothstein（2010）等を高名なジャーナルに掲載された「エビデンス」として用い，一方で支持派は同様にChetty et al.（2014）を同じく高名なジャーナルに掲載された「エビデンス」として政治利用するであろうことは十分に予想できる。 14 Amrein-Beardsley&Holloway（forthcoming）は，VAMの前提をめぐる議論において，方法，実施過程，帰結の3側面から論じており，他の同様の論文では明示的に含まれない重要な視点が含まれている。. 文献 Altonji, Joseph G. and Richard K. Mansfield (2018) “Estimating Group Effects Using Averages of Observables to Control for Sorting on Unobservables: School and Neighborhood Effects,” American Economic Review, 108⑽: 2902-2946. American Educational Research Association (2015) “AERA Statement on Use of Value-Added Models (VAM) for the Evaluation of Educators and Educator Preparation Program,” Educational Researcher, 44⑻: 448-452. American Statistical Association (2014) “ASA Statement on Value-Added Models for Educational Assessment” Amrein-Beardsley, Audrey (2014) Rethinking Value-Added Models in Education: Critical Perspectives on Tests and Assessment-Based Accountability, New York: Routledge. ―― and Jessica Holloway (forthcoming) “Value-Added Models for Teacher Evaluation and Accountability: Commonsense Assumptions,” Educational Policy. Baker, Eva L., Paul E. Barton, Linda Darling-Hammond, Edward Haertel, Helen F. Ladd, Robert L. Linn, Diane Ravitch, Richard Rothstein, Richard J. Shavelson, and Lorrie A. Shepard, 2010, “Problems with the Use of Student Test Scores to Evaluate Teachers,” EPI Briefing Paper, No. 278. Ballou, Dale (2009) “Test Scaling and Value-Added Measurement,” Education Finance and Policy, 4⑷: 351-383. ――, William Sanders and Paul Wright (2004) “Controlling for Student Background in Value-Added Assessment of Teachers,” Journal of Educational and Behavioral Statistics, 29⑴: 37-65.. 69.

(13) 橋野晶寛. Berliner, David C. (2014) “Exogenous Variables and Value-Added Assessments: A Fatal Flaw,” Teachers College Record, 116⑴: 1-31. Betebener, Damian W. (2011) “A Technical Overview of the Student Growth Percentile Methodology: Student Growth Percentiles and Percentile Growth Projections/Trajectories” Bryk, Anthony S., and Herbert I. Weisberg (1976) “Value-Added Analysis: A Dynamic Approach to the Estimation of Treatment Effects,” Journal of Educational and Behavioral Statistics, 1⑵: 127-155. Chetty, Raj, John N. Friedman, and Jonah E. Rockoff (2014) “Measuring the Impacts of Teachers I: Evaluating Bias in Teacher Value-Added Estimates,” American Economic Review, 104⑼: 2593-2632. ――, ――, and ―― (2016) “Using Lagged Outcomes to Evaluate Bias in Value-Added Models,” American Economic Review, 106⑸: 393-399. ――, ――, and ―― (2017) “Measuring the Impacts of Teachers: Reply”, American Economic Review, 107⑹: 1685-1717. Collins, Clarin and Audrey Amrein-Beardsley (2014) “Putting Growth and Value-Added Models on the Map: A National Overview,” Teachers College Record, 116⑴: 1-32. Corcoran, Sean and Dan Goldhaber (2013) “Value Added and Its Uses: Where You Stand Depends on Where You Sit,” Education Finance and Policy, 8⑶: 418-434. Dieterle, Steven, Cassandra M. Guarino, Mark D. Reckage, and Jeffrey M. Wooldridge (2015) “How do Principals Assign Students to Teachers? : Finding Evidence in Administrative Data and the Implications for Value Added,” Journal of Policy Analysis and Management, 34⑴: 32-58. Everson, Kimberlee C. (2017) “Value-Added Modeling and Educational Accountability: Are We Answering the Real Questions?”, Review of Educational Research, 87⑴: 35-70. Goldhaber, Dan, James Cowan, and Joe Walch (2013) “Is a Good Elementary Teacher Always Good? Assessing Teacher Performance Estimates across Subjects,” Economics of Education Review, 36: 216-228. ―― and Ducan Dunbar Chaplin (2015) “Assessing the “Rothstein Falsification Test”: Does It Really Show Teacher ValueAdded Models Are Biased?,” Journal of Research on Educational Effectiveness, 8⑴: 8-34. ――, Joe Walch, and Brian Gabele (2014) “Does the Model Matter?: Exploring the Relationship Between Different Student Achievement-Based Teacher Assessments,” Statistics and Public Policy, 1⑴: 28-39. Guarino, Cassandra M., Mark D. Reckase, and Jeffrey M. Wooldridge (2015) “Can Value-Added Measures of Teacher Performance Be Trusted?”, Education Finance and Policy, 10⑴: 117-156. Hanushek, Eric A. (1971) “Teacher Characteristics and Gains in Student Achievement: Estimation Using Micro Data,” American Economic Review, 61⑵: 280-288. ――, and Steven G. Rivkin (2010) “Generalizations about Using Value-Added Measures of Teacher Quality,” American Economic Review, 100⑵: 267-271. ――., ――, and Jeffrey C. Schiman, 2016, “Dynamic Effects of Teacher Turnover on the Quality Instruction,” Economics of Education Review, 55: 132-148. Harris, Douglas N. and Carloyn D. Herrington (2015) “The Use of Teacher Value-Added Measures in Schools: New Evidence, Unanswered Questions, and Future Prospects,” Educational Researcher, 44⑵: 71-76. Herrmann, Mariesa, Elias Walsh and Eric Isenberg, 2016, “Shrinkage of Value-Added Estimates and Characteristics of Students with Hard-to-Predict Achievement Levels,” Statistics and Public Policy, 3⑴: 1-10. Hewitt, Kimberly Kappler and Audrey Amrein-Beardsley eds. (2016) Student Growth Measures in Policy and Practice: Intended and Unintended Consequences of High-Stakes Teacher Evaluations, New York: Palgrave Macmillan. Ishii, Jun and Steven G. Rivkin (2009) “Impediments to the Estimation of Teacher Value Added,” Education Finance and Policy, 4⑷: 520-536. Jacob, Brian and Jesse Rothstein, 2016, “The Measurement of Student Ability in Modern Assessment System,” Journal of Economic Perspective, 30⑶: 85-108. Kane, Thomas J. and Douglas O. Staiger (2008) “Estimating Teacher Impacts on Student Achievement: An Experimental Evaluation,” NBER Working Paper No. 14607. Kersting, Nicole B., Mei Kuang Chen, and James W. Stigler (2012) “Value-added Teacher Estimates as Part of Teacher Evaluations: Exploring the Effects of Data and Model Specifications on the Stability of Teacher Value-added,” Education Policy Analysis Archives, 21⑺: 1-39.. 70.

(14) 教育政策分野における付加価値モデルの方法的論点. Kinsler, Josh (2012a) “Beyond Levels and Growth: Estimating Teacher Value-Added and its Persistence,” Journal of Human Resources, 47⑶: 722-753. ―― (2012b) “Assessing Rothstein's Critique of Teacher Value-Added Models,” Quantitative Economics, 3⑵: 333-362. Koedel, Cory and Julian R. Betts (2011) “Does Student Sorting Invalidate Value-Added models of Teacher Effectiveness?: An Extended Analysis of the Rothstein Critique,” Education Finance and Policy, 6⑴: 18-42. ――, Kata Mihaly, and Jonah E. Rockoff (2015) “Value-Added Modeling: A Review,” Economics of Education Review, 47: 180-195. Kyriakides, Leonidas and Bert P. M. Creemers (2008) “A Longitudinal Study on the Stability over Time of School and Teacher Effects on Student Outcomes,” Oxford Review of Education, 34⑸: 521-545. Lavy, Victor and Adi Boiko (2017) “Management Quality in Public Education: Superintendent Value-Added, Student Outcomes and Mechanisms,” NBER Working Paper No. 24028. Leckie, George and Harvey Goldstein (2011) “Understanding Uncertainty in School League Tables,” Fiscal Studies, 32⑵: 207-224. ―― and ―― (2017) “The Evolution of School League Tables in England 1992-2016: ‘Contextual Value-Added’, ‘Expected Progress’ and ‘Progress 8’,” British Educational Research Journal, 43⑵: 193-212. Levine, David I. and Gary Painter (2008) “Are Measured School Effects Just Sorting?: Causality and Correlation in the National Education Longitudinal Survey,” Economics of Education Review, 27⑷: 460-470. Lissitz, Robert W., and Hong Jiao (2015) Value Added Modeling and Growth Modeling with Paticular Application to Teacher and School Effectiveness, Charlotte: Information Age Publishing, INC. Mariano, Louis T., Daniel F. McCaffrey, and J. R. Lookwood (2010) “A Model for Teacher Effects from Longitudinal Data Without Assuming Vertical Scaling,” Journal of Educational and Behavioral Statistics, 35⑶: 253-279. Morganstein, David and Ron Wasserstein (2014) “ASA Statement on Value-Added Models,” Statistics and Public Policy, 1 ⑴: 108-110. Newton, Xiaoxia, Linda Darling-Hammond, Edward Haertel and Ewart Thomas (2010) Value-Added Modeling of Teacher Effectiveness: An Exploration of Stability across Models and Contexts, Education Policy Analysis Archives, 18: 1-22. Papay, J. (2011) “Different Tests, Different Answers: The Stability of Teacher Value Added Estimates across Outcome Measures,” American Educational Research Journal, 48: 163-193. Ray, Andrew, Tanya McCormack, and Helen Evans (2009) “Value Added in English Schools,” Education Finance and Policy, 4⑷: 415-438. Reardon, Sean F. and Stephen W. Raudenbush (2009) “Assumptions of Value-Added Models for Estimating School Effects,” Education Finance and Policy, 4⑷: 492-519. Rothstein, Jesse (2009) “Student Sorting and Bias in Value-Added Estimation: Selection on Observables and Unobservables,” Education Finance and Policy, 4⑷: 537-571. ―― (2010) “Teacher Quality in Educational Production: Tracking, Decay, and Student Achievement,” Quarterly Journal of Economics, 125⑴: 175-214. ―― (2017) “Measuring the Impacts of Teachers: Comment,” American Economic Review, 107⑹: 165-184. Sanders, William L. and Sandra Horn (1994) “The Tennessee Value-Added Assessment System(TVAAS): Mixed-Model Methodology in Educational Assessment,” Journal of Personnel Evaluation in Education, 8⑶: 299-311. Saas, Tim R., Anastasia Semykina, and Douglas N. Harris (2014) “Value-Added Models and the Measurement Teacher Productivity,” Economics of Education of Review, 38: 9-23. Strunk, Katharine O., Tracey L. Weinstein, and Reino Makkonen (2014) “Sorting Out the Signal: Do Multiple Measures of Teachers’ Effectiveness Provide Consistent Information to Teachers and Principals?” Education Policy Analysis Archives, 22(100): 1-38． Tate, Richard L., 2004, “A Cautionary Note on Shrinkage Estimates of School and Teacher Effects,” Florida Journal of Educational Research, 42: 1-21. Timmermans, Anneke C., Simone Doolaard, and Igne de Wolf (2011) “Conceptual and Empirical Differences among Various Value-Added Models for Accountability,” School Effectiveness and School Improvement, 22⑷: 393-413. Todd, Petra E. and Kenneth I. Wolpin (2003) “On the Specification and Estimation of the Production Function for Cognitive Achievement,” Economic Journal, 113(485): F3-F33.. 71.

(15) 橋野晶寛. ＜付記＞本研究は文部科学省科研費26285180および15K17336の助成を受けたものです。（旭川校准教授）. 72.

(16)