• 検索結果がありません。

3.2.1 分析対象

2.2. 節で示した,数学分野,物理分野,化学分野,生物分野の4分野への全項目無解答者

を除いた解答データを分析の対象とした。すなわち,例えば,数学のみに解答した受験者が いた場合でも,削除せずに数学分野の分析に含めて分析を行った

3.2.2 項目得点のカテゴリ化

これらの項目は配点通りにカテゴライズすると,それぞれの項目がとるカテゴリ数は配 点+1カテゴリとなる。しかし,採点は1点刻みに行われたわけではない。すなわち,該当 者が存在していないカテゴリ,あるいは,該当者が少数で分析に耐えないと思われるカテゴ リが数多く存在する構造となっている。したがって,たとえ多値データに基づく分析を行う 場合でも,あらかじめ項目のカテゴリ数を絞る必要がある。

さらに,本章では2PLMを用いるため,カテゴリ数を2カテゴリにする必要がある。テス ト項目の内容から見て合理的なカテゴライズを行うために,2.3節で述べた各作題者へのヒ アリングをもとに閾値を定めた。作題者には本テストの項目得点のヒストグラムを提示し,

妥当な閾値について判断を仰いだ。その結果を用いて,すべての項目を2カテゴリとして分 析を進めることとした。各教科の二値カテゴリ得点と配点における得点との対応,度数分布 を表 3-1.~表 3-4. に示す。また,各項目のヒストグラムを巻末資料3. に示す。

26

表 3-1. 数学7項目の二値カテゴリ得点と配点との対応 項目 二値得点0 二値得点1

item1_1_01 0~9

896人 (32.8%)

10

1837人 (67.2%)

item1_1_02 0~9

1248人 (45.7%)

10

1485人 (54.3%)

item1_1_03 0~19

2193人 (80.2%)

20

540人 (19.8%)

item1_1_04 0~9

2315人 (84.7%)

10

418人 (15.3%)

item1_2_01 0~14

774人 (28.3%)

15

1959人 (71.7%)

item1_2_02 0~14

2617人 (95.8%)

15 116人 (4.2%)

item1_2_03 0~19

2729人 (99.9%)

20 4人 (0.1%)

27

表 3-2. 物理11項目の二値カテゴリ得点と配点との対応 項目 二値得点0 二値得点1

item2_1_01 0~2

488人 (27.5%)

3

1288人 (72.5%)

item2_1_02 0~2

476人 (26.8%)

3

1300人 (73.2%)

item2_1_03 0~2

407人 (22.9%)

3

1369人 (77.1%)

item2_1_04 0~3

1388人 (78.2%)

4~8 388人 (21.8%)

item2_2_01 0~2

1741人 (98.0%)

3 35人 (2.0%)

item2_2_02 0~3

1399人 (78.8%)

4

377人 (21.2%)

item2_3_01 0~8

1162人 (65.4%)

9

614人 (34.6%)

item2_3_02 0~2

1550人 (87.3%)

3

226人 (12.7%)

item2_3_03 0~3

1675人 (94.3%)

4

101人 (5.7%)

item2_3_04 0~4

1629人 (91.7%)

5

147人 (8.3%)

item2_3_05 0~4

1764人 (99.3%)

5 12人 (0.7%)

28

表 3-3. 化学9項目の二値カテゴリ得点と配点との対応 項目 二値得点0 二値得点1

Item3_1_01 0~7

1524人 (57.7%)

8~14 1115人 (42.3%)

Item3_1_02 0~5

2380人 (90.2%)

6

259人 (9.8%)

Item3_1_03 0~5

1742人 (66.0%)

6

897人 (34.0%)

Item3_2_01 0~2

2267人 (85.9%)

3

372人 (14.1%)

Item3_2_02 0~2

2476人 (93.8%)

3

163人 (6.2%)

Item3_2_03 0~2

2139人 (81.1%)

3

500人 (18.9%)

Item3_2_04 0~2

2401人 (91.0%)

3

238人 (9.0%)

Item3_2_05 0~5

1477人 (56.0%)

6

1162人 (44.0%)

Item3_2_06 0~3

2629人 (99.6%)

4~6 10人 (0.4%)

29

表 3-4. 生物6項目の二値カテゴリ得点と配点との対応 項目 二値得点0 二値得点1

Item4_01 0~9

843人 (89.1%)

10

103人 (10.9%)

Item4_02 0~9

581人 (61.4%)

10

365人 (38.6%)

Item4_03 0~4

611人 (64.6%)

5~10 335人 (35.4%)

Item4_04 0~4

796人 (84.1%)

5~10 150人 (15.9%)

Item4_05 0~4

624人 (66.0%)

5

322人 (34.0%)

Item4_06 0~4

315人 (33.3%)

5

631人 (66.7%)

30

3.2.3 分析モデル

本章では,まず,解答データを2段階にカテゴライズし,二値型項目として扱う。次に,

推定結果として異常な項目パラメタ推定値が現れた場合に,複数の項目を一つのテストレ ットとしてまとめて多値モデルによる分析を行う。テストレットの得点は,テストレットに 含まれる項目の項目得点の合計とした。本章においてはテストレットに含まれる項目はす べて二値型項目であることから,テストレットとした項目は「テストレットに含まれる項目 数+1」のカテゴリ数の多値データとなる。

3.2.4 分析方法

まず各教科の一次元性をスクリープロットによって確認する。次に二値型項目としての テストデータを 2PLM によって分析し,項目パラメタの算出を行った。分析には IRTPRO ver.2.1 (Cai, Thissen & du Toit, 2011) を用いた。

IRT への適用に際して,識別力パラメタの推定値の通常想定される値を 0~2.0 とし,こ の値の範囲に収まるか,という観点から検討を行った。識別力パラメタの推定値 0~2.0に 収まらない場合,識別力の過大推定とみなすこととした。なお,被験者パラメタについては,

標準正規分布を仮定して,推定を行った。

次いで,識別力パラメタ推定値が通常の範囲に収まらなかった項目が局所独立の仮定を 満たさない項目であれば,識別力パラメタ推定値が通常の範囲に収まらなかった項目を含 む複数の項目をテストレットとして分析を行うこととした。

ドキュメント内 理系記述式テストへのIRT適用課題の検討 (ページ 32-37)