• 検索結果がありません。

一部項目をテストレットした場合の項目パラメタ・情報曲線

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 44-48)

3.3 結果

3.3.3 一部項目をテストレットした場合の項目パラメタ・情報曲線

37

数学分野は,item1_1_03,item1_1_04の識別力パラメタが過大推定された。図2-1.で示し たように,これらの項目は完全連鎖の関係にある項目ペアであった。

物理分野は item2_3_01,item2_3_03,item2_3_04,item2_3_05の識別力パラメタが過大推 定された。図 2-2.で示したように,item2_3_01 は item2_3_02 と部分連鎖の関係にあり,

item2_3_03とitem2_3_04,item2_3_04とitem2_3_05 item2_3_04も部分連鎖の関係にある項 目ペアであった。また,連鎖性がないが,item2_1_01,item2_1_02,item2_1_03の識別力パ ラメタには,通常よりも小さい推定値が得られていた。

化学分野は item3_1_02 が過大推定された。図 2-2.で示したように,item3_1_02 は

item3_1_01と部分連鎖の関係にある項目ペアであった。

全ての項目が構造的に局所独立と判断された生物分野には,識別力パラメタが異常な値 を示した項目はなかった。

項目得点を二値データとして分析した結果として,数学分野,物理分野,化学分野におい ては識別力パラメタの過大推定と考えられる項目がみられた。これらの項目はすべて他の 項目と完全連鎖,ないしは,部分連鎖の関係にある項目であった。明らかに,局所独立の仮 定への侵犯が識別力パラメタの課題推定につながったと考えられる。

そこで,連鎖性への対処として,これらの項目を含む項目ペアをテストレットとし,テス トレットを含む二値データでの分析を行った。

各分野において一部の項目をテストレットとして扱った。作題者への連鎖性の構造に関 するヒアリングの結果に基づき,数学分野は完全連鎖の関係にあるとされたitem1_1_03 と

item1_1_04の項目ペアをテストレット (testlet1_1_03_04) として分析を行うこととした。

同様に,物理分野は部分連鎖の関係にあるとされたitem2_3_01と item2_3_02をテストレ ット (testlet2_3_01_02) とし,また,同様に部分連鎖の関係にあるとされた item2_3_03,

item2_3_04,item2_3_05の3項目をテストレット (testlet2_3_03_04_05) とした。識別力が通

常より小さく推定されたitem2_1_01,item2_1_02,item2_1_03は連鎖性のない項目であった。

これらの項目をテストレットとして扱うことは不適切であると考え,二値型項目としたま ま分析に加えることとした。

同様に,化学分野は部分連鎖の関係にあるitem2_3_01とitem3_1_02の項目ペアをテスト レット (testlet3_1_01_02) として分析を行うこととした。

生物分野については,当初の項目得点を二値データとした分析で問題ない推定値が得ら れたので,テストレットを含む分析は行わないこととした。

38

表 3-9. テストレットを含む数学分野6項目(二値型)の項目パラメタ

項目 a s.e. b1 s.e. b2 s.e.

item1_1_01 0.78 0.07 -1.04 0.09

item1_1_02 0.80 0.06 -0.25 0.06

testlet1_1_03_04 0.77 0.06 -0.06 0.06 1.73 0.13

item1_2_01 1.21 0.09 -0.98 0.06

item1_2_02 5.20 1.30 0.50 0.03

item1_2_03 3.56 0.31 0.76 0.03

図 3-9. テストレットを含む数学分野6項目(二値型)のテスト情報曲線と標準誤差

39

表 3-10. テストレットを含む物理分野8項目(二値型)の項目パラメタ

項目 a s.e. b1 s.e. b2 s.e. b3 s.e.

item2_1_01 0.17 0.06 -5.64 2.11 item2_1_02 0.36 0.07 -2.89 0.54 item2_1_03 0.08 0.07 -14.85 12.30

item2_1_04 1.14 0.09 0.24 0.05

item2_2_01 1.12 0.23 4.01 0.65

item2_2_02 1.15 0.09 0.59 0.06

testlet2_3_01_02 2.17 0.16 -0.14 0.04 1.58 0.07

testlet2_3_03_04_05 2.53 0.22 0.26 0.04 1.21 0.06 3.01 0.17

図 3-10. テストレットを含む物理分野8項目(二値型)のテスト情報曲線と標準誤差

40

表 3-11. テストレットを含む化学分野8項目(二値型)の項目パラメタ

項目 a s.e. b1 s.e. b2 s.e.

testlet3_1_01_02 1.68 0.11 0.18 0.03 1.77 0.08 item3_1_03 1.69 0.12 0.28 0.04

item3_2_01 0.90 0.07 0.79 0.07 item3_2_02 0.64 0.07 2.13 0.21 item3_2_03 0.94 0.08 1.79 0.13 item3_2_04 1.11 0.11 2.49 0.19 item3_2_05 1.25 0.09 0.25 0.04 item3_2_06 1.23 0.40 5.12 1.30

図 3-11. テストレットを含む化学分野8項目(二値型)のテスト情報曲線と標準誤差

41

テストレット項目 testlet1_1_03_04を含む分析の結果,数学分野はテストレットとした項 目のペアとは別の連鎖性のある項目ペア (item1_2_01,item1_2_02) の識別力パラメタが過 大推定される結果となった。

物理分野は二つのテストレットとした項目 (testlet2_3_01_02とtestlet2_3_03_04_05) で,

再び識別力パラメタが過大推定された。また識別力パラメタと困難度パラメタが非常に低 く,推定誤差も著しく大きいことから,推定結果が極めて不安定であると考えられる項目が みられた (item2_1_01,item2_1_02,item2_1_03) 。

化学分野はすべての項目において識別力パラメタは過大推定されなかった。

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 44-48)