第 6 章 新しいアルゴリズムの評価
第5節 提案アルゴリズムの評価
イテムバンクのアイテム数を増やすことでランク数を大きくすることは可能である.CAT化し て最初の利用がランク数2であっても,徐々にアイテムを増やすことでランク数5以上も利 用可能である.ただし,本研究の前提が,リニアテストをそのままCAT化して使うというシナ リオを前提にしているので,ランク数の上限については確認していない.
表6.1 使用する回答データとアイテムバンク ランク数
回答データ アイテム数 受験者数 2 3 4 5
g10 10 11 g10r2 g10r3 g10r4 g10r5
g20 20 21 g20r2 g20r3 g20r4 g20r5
g30 30 31 g30r2 g30r3 g20r4 g30r5
g40 40 41 g40r2 g40r3 g40r4 g40r5
g50 50 51 g50r2 g50r3 g50r5 g50r5
j10 10 10 j10r3 j10r3 j10r4 j10r5
j20 20 20 j20r2 j20r3 j20r4 j20r5
j30 30 30 j30r2 j30r3 j30r4 j30r5
j40 40 40 j40r2 j40r3 j40r4 j40r5
j50 50 50 j50r2 j50r3 j50r4 j50r5
表6.2 シミュレーションの結果:基準を満たす受験アイテム数
回答データ ランク数:2 ランク数:3 ランク数:4 ランク数:5
g10 5 ― ― ―
g20 5~10 ― ― ―
g30 5~15 13~15 ― ―
g40 5~20 13~20 ― ―
g50 5~25 13~25 22~25 ―
j10 5 ― ― ―
j20 9~10 ― ― ―
j30 5~15 ― ― ―
j40 6~20 ― ― ―
j50 6~25 22~25 ― ―
図6.6 アイテムバンクg10を使用した場合のランク誤差
図6.7 アイテムバンクj10を使用した場合のランク誤差
図6.8 アイテムバンクg20を使用した場合のランク誤差
図6.9 アイテムバンクj20を使用した場合のランク誤差
図6.10 アイテムバンクg30を使用した場合のランク誤差
図6.11 アイテムバンクj30を使用した場合のランク誤差
図6.12 アイテムバンクg40を使用した場合のランク誤差
図6.13 アイテムバンクj40を使用した場合のランク誤差
図6.14 アイテムバンクg50を使用した場合のランク誤差
図6.15 アイテムバンクj50を使用した場合のランク誤差
第6節 おわりに
第5章で提案したアルゴリズムをモンテカルロシミュレーションによって評価した.全ての
ケースで目標とした50アイテム以下のアイテムバンクで50%以下の受験アイテム数でラン
ク誤差 10%以下をほぼクリアした.ただし,この結果は理想に近い特性,あるいは,実際に
使われているアイテムの中でも特性の良いアイテム場合であるので,これを上限値と考える のが妥当であろう.
小さいアイテムバンクでも本研究のアルゴリズムがCATとして動作するのは,小さいサン プルデータであってもランク数を小さくすることで,SOMによるIRPの推定が適切にでき,
それが CAT の適切な動作に反映されていること,ランク数が小さくなることで能力ランクの 推定を誤る率が減ること,などが要因として考えられる.本節のシミュレーションの結果でも,
特に実際のアイテムバンクの場合,ランク数が2ないし3でしか基準をクリアできていないこ とがそれを裏付けている.