• 検索結果がありません。

問題と目的

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 75-78)

68

7 章 局所独立性を満たさない項目を含んだ選択式テ

ストデータの分析

6

69

研究としてDeMars (2006) ,Lee (2000) ,Sireci, Thissen, and Wainer (1991) ,登藤 (2012b) が 挙げられる。Lee (2000) とSireci, Thissen, and Wainer (1991) は,局所依存性を無視した分析 では能力パラメタの標準誤差の推定値が過小推定されること,信頼性の推定値の過大推定 が起こることを示唆している。一方でDeMars (2006) や登藤 (2012b) では,局所依存性がみ られる場合の能力パラメタの推定誤差については,局所依存を考慮するモデルとしないモ デルとの間で大きな差は見られなかったことを報告している。

またシミュレーションデータを用いた先行研究のうち,項目パラメタの推定精度に着目 した研究として登藤 (2012a) が挙げられる。局所依存性がみられるとき,項目識別力の推定 誤差や過大推定の程度は局所依存性を考慮するモデルの方が小さくなっているという結果 が得られている。

局所依存性が認められるデータに二値型モデルを適用したシミュレーション研究につい て表 7-1に示す。これまでもシミュレーションデータを用いた研究が多くなされてきたが,

現実のテストデータにおいても同様の結果が得られるかどうかについては十分に検討され ていない。

実際のテストデータに対し局所依存性を考慮するモデルを用いて分析を行った研究とし ては DeMars (2006) ,石塚ほか (2001) ,御園・水町 (2011) ,Thissen, Steinberg and Mooney

(1989) が挙げられる。石塚ほか (2001) は,英語のテストデータに対し2パラメタ・ロジス

ティックモデル (2PLM) と GRM の二つのモデルをそれぞれ適用し分析を行っている。そ の結果二つのモデル間で,項目パラメタの一致度および能力推定の一致度はかなり高いが,

情報関数の違いは大きい,としている。また2PLMとGRMのそれぞれから得られた能力パ ラメタの相関は 0.99 と高い値であったことを報告している。同様に,DeMars (2006) は,

PISAの読解力問題,数学的知識問題のテストデータを2PLMとGPCMによって分析を行っ た結果,能力パラメタの相関は読解力,数学的知識問題ともに 0.99と高い値が得られたこ とを示している。Thissen, Steinberg and Mooney (1989) においても,3パラメタ・ロジスティ ックモデル (3PLM) と NRM によって四つの大問からなる文章読解問題を分析した結果,

表 7-1. 局所依存性がみられるデータに二値型モデルを適用して得られる結果

先行研究 分析モデル 局所依存時に得られる結果

登藤, 2010 局所独立・局所依存時に2PLM 局所依存時に能力パラメタの推定誤差の増加

Chen & Wang, 2007 局所独立・局所依存時に3PLM 局所依存時に識別力パラメタの過大推定

Tuerlinckx & De Boeck, 2001 局所独立・局所依存時に2PLM 局所依存時に識別力パラメタの過大推定

登藤, 2012a 2PLM・ベイズ変量効果モデル 2PLMの識別力パラメタの過大推定 登藤, 2012b 2PLM・GRM・ベイズ変量効果モデル モデル間に能力パラメタの推定誤差の差異無し

DeMars, 2006 3PLM・GPCM・ベイズ変量効果モデル モデル間に能力パラメタの推定誤差の差異無し

Lee, 2000 3PLM・GRM・NRM 3PLMの能力パラメタのSEが過小推定

70

それぞれの能力パラメタの相関は0.97と高い数値が得られたことを報告している。また御 園・水町 (2011) は数学分野の解答データをGRMによって分析を行った結果,十分にGRM が適用可能であったことを述べている。しかし御園・水町 (2011) ではGRMの適用に留ま っており,他のモデルとの比較検討は為されていない。実際のテストデータを扱った研究で は能力パラメタの真値が分からないため,2PLMの能力パラメタ推定値とGRMの能力パラ メタ推定値との相関の比較に留まっている。そのためパラメタの推定精度がどの程度であ るのかについて明示することは困難である。

7.1.4 局所依存性の強さがパラメタ推定に与える影響

登藤 (2012a) では,局所依存性の強い項目が増えるにつれて識別力パラメタがより大き く過大推定されることが示されている。また登藤 (2012b) では,局所依存性の強い項目が 増えるにつれて能力パラメタの推定誤差がより大きくなることが示されている。局所依存 の強さが識別力パラメタ,また能力パラメタの推定誤差に影響を与える可能性があること から,局所依存の強さについての検討を行うことは重要であると考えられるが,石塚ら

(2001) ,御園・水町 (2011) では局所依存の強さについての言及はされていない。石塚ら

(2001) では 2PLMによって求めた能力パラメタ推定値と GRMによって求めた能力パラメ

タ推定値の一致度は高いとしているが,そもそも項目間の局所依存性が弱いために能力パ ラメタ推定値が似通った値になった可能性が考えられる。

7.1.5 本研究の目的

シミュレーションデータを用いた先行研究は,パラメタの真値を設定することで推定値 の精度について検討しているが,得られた結果が実際のテストデータにも一般化できるか については検討されていない。

また実際のテストデータを用いた研究には,石塚ほか (2001) でデータにみられる局所依 存性の強さを確認していないことや,御園・水町 (2011) ではモデル間の比較を行っていな いことから,局所依存性がみられるテストデータに対する二値型モデルと多値型モデルの 比較検討において不十分な点が見られた。よって実際のテストデータを用い,データにみら れる局所依存性を確認した上で 2PLM と GRM の推定の比較を行うことが有用であると考 えられる。

そこで本研究では,大問形式で局所独立性の仮定が満たされていないと考えられる数学 の大規模学力テストデータを,局所依存性の強さを確認した上で2PLM,GRMによって分 析を行う。なお本研究ではベイズ変量効果モデルによる分析を行っていない。本研究で用い た数学のテストデータでは文脈への依存による局所依存性ではなく,項目の連鎖性による 局所依存性があることが想定される。また IRT の分析ソフトウェアである PARSCALE

71

(Muraki & Bock, 1997) やMULTILOG (Thissen, 1991) ,RのltmパッケージではGRMの分 析に対応している一方で,ベイズ変量効果モデルの分析に対応していない。よってベイズ変 量効果モデルよりも GRM がテストデータの分析の場面でより広く用いられていることが 考えられる。以上のことから,本研究で用いたテストデータの局所依存性を表現するモデル としてGRMを用いた。

本研究を行う意義として以下の二つが挙げられる。一つ目は,日本の文化の特徴の一つで ある局所独立性を満たさない大問形式のデータに対して,局所依存を考慮したモデルによ って分析を行うことである。局所依存を考慮したモデルを用いることで,項目パラメタ,能 力パラメタの推定においてより精度の高い分析ができる可能性が考えられる。二つ目は,実

際のデータを用いることである。登藤 (2010) やLee (2000) など,シミュレーションによる 研究は多くあるが,シミュレーションで発生したデータはノイズの少ない理想的なデータ である。しかし現実のデータには様々なノイズが含まれることが考えられる。そのため現実 のデータを用いることに意義があると考えられる。

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 75-78)