• 検索結果がありません。

能力パラメタ推定値の比較

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 88-92)

7.3 結果と考察

7.3.4 能力パラメタ推定値の比較

2PLM と GRM による能力パラメタの推定値の散布図を示した。図 7-1. ~図 7-5. は,

2PLMとGRMの二つのモデルに基づいて各受験者の能力パラメタを推定し,その結果を散 布図に表したものである。

表 7-16. GRMによる分析から得られた𝑸𝟑の平均値,SD,最小値,最大値 平均値 標準偏差 最小値 最大値

第1回 -0.022 0.027 -0.114 0.109

第2回 -0.034 0.042 -0.179 0.174

第3回 -0.026 0.033 -0.119 0.160

第4回 -0.035 0.042 -0.174 0.119

第5回 -0.033 0.047 -0.150 0.256

図 7-1. 2009年第1回能力パラメタ推定値の散布図

82

図 7-1. は2009年第1回の能力パラメタ推定値の散布図である。2PLMによる能力パラメ タ推定では0.70付近に多くの受験者が固定されている。

また 2PLM による分析で能力パラメタが 0.70 付近の値が得られた受験者であっても,

GRMによる能力パラメタは−1.5から1.5程度の範囲に渡って推定されている。これは,2PLM では識別力パラメタが極端に過大推定されたと考えられる2項目 (item38,item39) があり,

困難度パラメタの値がそれぞれ0.66と0.68であったことを踏まえると,この項目によって 能力パラメタの推定値が 0.70 付近に偏ったと考えられる。またGRMでは,識別力パラメ タが過大推定されていると考えられる 2 項目がテストレットとして扱われているため,識 別力パラメタが過大推定されず,能力パラメタが偏ることなく推定を行ったと考えられる。

二つのモデルに基づく能力パラメタ推定値の相関は0.973と高い値であるが,2PLMにお ける能力パラメタの推定値が0.70付近の受験者においては,GRMによる能力パラメタの推 定との一致度は低い。

図 7-2. は2009年第2 回の能力パラメタ推定値の散布図である。二つのモデルにもとづ

く能力パラメタ推定値の相関は0.990と非常に高い値を示している。しかし散布図を確認し てみると,両者の能力パラメタの推定値が−1より小さい範囲では直線状に散布しているが,

能力パラメタ推定値が−1より大きい場合においては両者のモデルでの能力パラメタの推定 値に差異がみられる。このテストにおいては第1回のテストと同様,識別力パラメタが過大 推定されたと考えられる項目 (item25,item26) があった。これらの項目により,2PLM と GRMの推定に違いが生じたと考えられる。

図 7-2. 2009年第2回能力パラメタ推定値の散布図

83

図 7-3. は2009年第3 回の能力パラメタ推定値の散布図である。この散布図では,二つ のモデルに基づく能力パラメタ推定値の相関は0.980と高い値を示している。散布図は直線 状に散布しているが,能力パラメタ推定値が0~1の範囲において2PLMとGRMにおける 推定の差異がみられる。このテストにおいても第1回のテストと同様,識別力パラメタが過 大推定されたと考えられる項目 (item34,item 35,item 36,item 37) があった。これらの項 目の困難度パラメタの平均値は0.69であるが,低い値で−0.07,高い値で1.27と困難度パラ メタの推定値にばらつきが見られた。識別力パラメタが過大推定されたと考えられる項目 により,2PLMとGRMの間で能力パラメタ推定値が 0~1の範囲において差異が見られた と考えられる。

図 7-4. は2009年第4回の能力パラメタ推定値の散布図である。また図 7-5. は2009年 第 5 回の能力パラメタ推定値の散布図である。二つのモデルに基づく能力パラメタ推定値 の相関は,第4回において0.994,第5回において0.995と非常に高い値となっている。第 4回,第5回の能力パラメタの推定値は直線状に散布しており,2PLMとGRMとの間で能 力パラメタの推定の一致度は高いことが読み取れる。その理由として,これらのテストの 2PLM による分析では他のテストと比較して識別力パラメタの特に高い項目が見られなか ったことが考えられる。

図 7-3. 2009年第3回能力パラメタ推定値の散布図

84

石塚ほか (2001) は局所依存性が想定されるテストデータについて,2PLMとGRMの分 析を行った上で,能力パラメタの推定値に顕著な偏りが見られなかったことから「いずれの モデルを用いても実用上大きな問題とならないと考えてよいことが示唆される」としてい

図 7-4. 2009年第4回能力パラメタ推定値の散布図

図 7-5. 2009年第5回能力パラメタ推定値の散布図

85

る。本研究における2PLMとGRMによる能力パラメタ推定値の比較においても,第4回や 第 5 回のテストデータでは,二つのモデルの能力パラメタの推定値は直線的な散布図とな った。しかし2009年の第 1回テストの分析結果においては,石塚ほか (2001) の知見とは 異なり,識別力パラメタの過大推定の程度によっては2PLMとGRMの能力推定に大きな差 がみられる場合が確認された。そのため局所依存性がみられるデータによっては,能力パラ メタの推定値に顕著な偏りがみられる場合があり,実用上の問題が引き起こされる可能性 が考えられる。

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 88-92)