• 検索結果がありません。

共通項目の項目識別力に着目した分析

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 111-114)

8.3 結果と考察

8.3.1 共通項目の項目識別力に着目した分析

104

能力値差小:両方の年度で受験者を無作為に抽出する。

能力値差中:一方の年度は θが2以下,もう一方の年度はθが-2以上の受験者を無作為 に抽出する。

能力値差大:一方の年度は θが1以下,もう一方の年度はθが-1以上の受験者を無作為 に抽出する。

これらのそれぞれについて,共通項目数が2, 4, 6, 8, 10, 12の6つのテストデータと,基 準テストの能力パラメタについて調べる。ここでは,計18のRMSEを比較することになる。

また,受験者数は2000に,共通項目の項目識別力については,8.2.4節と同様に,中程度の ものに統一した。

105

表 8-3. 英語における弁別力別のRMSE

弁別力 2 4 6 8 10 12 高 0.0154 0.0151 0.0131 0.0155 0.0174 0.0148 中 0.0310 0.0303 0.0175 0.0171 0.0119 0.0118 低 0.0587 0.0577 0.0534 0.0476 0.0405 0.0255

表 8-2. 各教科の共通項目の項目識別力 英 国 数 共通項目01 0.206 0.222 0.541 共通項目02 0.237 0.223 0.575 共通項目03 0.238 0.283 0.591 共通項目04 0.363 0.312 0.597 共通項目05 0.371 0.352 0.652 共通項目06 0.428 0.362 0.673 共通項目07 0.448 0.376 0.720 共通項目08 0.468 0.423 0.760 共通項目09 0.480 0.482 0.857 共通項目10 0.546 0.516 0.863 共通項目11 0.584 0.617 1.107 共通項目12 0.587 0.651 1.177 共通項目13 0.591 0.787 1.296 共通項目14 0.632 0.869 - 共通項目15 0.646 1.140 -

共通項目16 0.724 - -

共通項目17 0.726 - -

共通項目18 0.754 - -

共通項目19 0.793 - -

共通項目20 0.870 - -

106

表 8-4. 国語における弁別力別のRMSE

弁別力 2 4 6 8 10 12 高 0.0172 0.0174 0.0142 0.0154 0.0090 0.0060 中 0.0269 0.0200 0.0235 0.0173 0.0115 0.0102 低 0.0174 0.0225 0.0146 0.0187 0.0152 0.0090

図 8-4. 英語における弁別力別のRMSE

図 8-5. 国語における弁別力別のRMSE

さらに,共通項目の項目識別力に着目した分析で得られた英語と国語の RMSE の値につ いて,表 8-3.,表 8-4. と図 8-4.,図 8-5. にまとめた。

分析の結果,等化の精度の指標とした RMSE が得られた。これは基準テストから得られ

0 0.01 0.02 0.03 0.04 0.05 0.06

2 4 6 8 10 12

弁別力高 弁別力中 弁別力低

0 0.01 0.02 0.03 0.04 0.05 0.06

2 4 6 8 10 12

弁別力高 弁別力中 弁別力低

107

た能力パラメタに対して,基準テストよりも共通項目を減らしたテストデータから得られ た能力パラメタが,平均的にどの程度ずれているかを表す。

表 8-3. ,表 8-4. より,英語のRMSEの一番大きい値が0.0587であるのに対し,国語の

場合は0.0270となっていることから,英語と国語を比べると国語の方が推定の精度がよい。

これは全体的に国語における共通項目の弁別力が英語に比べて高いためであると考えられ る。

すべての教科について,共通項目数が多くなると弁別力の高低にかかわらず RMSEの値 が小さくなる傾向がみられた。つまり,共通項目数が増えると等化の精度が良くなる傾向が あるということである。

英語の項目識別力が中程度である場合,共通項目数が4から6にかけて大幅なRMSEの 減少がみられることがわかる。この分析においては,共通項目数の目安として6以上あると よいと考えられる。

また英語では,項目識別力が高いほど等化の精度がよくなる傾向がみられる。しかし国語 では,図 8-5. より,部分的に弁別力が高いテストデータのRMSE が低い方の RMSEを上 回るところもみられる。また弁別力が変わってもRMSE は大きく変化しなかった。項目識 別力の高い項目を共通項目にしたとしても,等化の精度を大きく改善できない場合がある と考えられる。

次に2教科のうち,弁別力の違いによりRMSEに特に差が見られた英語に注目する。項 目識別力の低い場合と高い場合で最もRMSEの差が大きかったのは,共通項目数が2の場 合である。この差は0.0433 となる。今回の分析では,共通項目の項目識別力の低いものか ら高いものに変えた場合,RMSEでいうと最大0.04程度等化の精度を改善している。

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 111-114)