• 検索結果がありません。

結果と考察

ドキュメント内 テスト項目分析への応用 (ページ 68-84)

第 5 章 大学入試センター試験の ILS 分析

5.3 結果と考察

5.3.1 『英語(筆記)』の分析

一次元性確認のための固有値のスクリープロットは図5.1–5.3のとおりである.平成20 および22年度は第1固有値と第2固有値の間に10を超える差があり,それ以降の隣接す る固有値の間に1を超える差はない.したがって,これらの年度のテストは1次元の能力 を測定しているといえる.平成21年度も第1固有値と第2固有値の差は12.11だが,第2 固有値と第3固有値の間にも1.82の差がある.それ以降の隣接する固有値の間に1を超え る差はないので,平成21年度のテストには2次元の能力潜在変数が影響していると考え られる.

ILS分析の結果は図5.4–5.6のとおりである.図中の項目名は,大問番号と大問内の項 目番号である.たとえば「1-A2」は第1問 問Aの問2,「5-B」は第5問 問B,「6-3」は第 6問 問3をそれぞれ意味する.平成21および22年度 第3問の問BおよびCでは,問1, 問2などの問番号ではなく,29,30などの解答記入欄が問題文中に直接指定されているた め,「3-B29」などの表記とした.

局所従属な項目の数は,平成20年度から順に,35組(項目のすべての組み合わせの 3.10%),15組(1.39%),2組(0.18%)であった.大問内の項目同士の局所従属性は第 2問に集中し,他の大問では大問内の局所従属性がほとんど検出されなかった.唯一の例 外は平成20年度 6-3と6-7の間である.大問をまたぐ項目同士の局所従属性も,第2問 の項目とのものがほとんどで,例外は平成20年度の1-A1と6-7間の,4-B1と6-4の間,

4-B1と6-7の間の3箇所に限られていた.

以上の結果を解釈すると,平成21年度のテストは2次元の能力潜在変数が仮定できる ため,第2問で問われる文法・語法・会話・語句整序等の解答に必要な能力が,テスト全 体で測定される能力と別次元に存在し,局所従属性の原因となったと考えられる.

2具体的な項目はWebサイト上で公開されているもの(たとえばhttp://hiw.oo.kawai-juku.ac.jp/nyushi/

など)を参照されたい.

表5.1: モニター調査の有効受検者数

英語 数学I・ 数学II・ 年度 筆記 リスニング 数学A 数学B 平成20年度 369 368 367 367 平成21年度 384 384 382 382 平成22年度 381 380 377 377

0 2 4 6 8 10 12 14 16

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図 5.1: 平成20年度『英語(筆記)』の固有値のスクリープロット

0 2 4 6 8 10 12 14 16 18

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図 5.2: 平成21年度『英語(筆記)』の固有値のスクリープロット

しかし,平成20年度のテストにおいて,第2問と大問をまたぐ局所従属性が平成21年度 より多く検出されているため,平成21年度と同様に文法等に必要な別次元の能力が存在 するものの,テスト全体で測定される能力と相関が高く,見かけ上1次元になっている可 能性が考えられる.

なお,最も強い局所従属性は,平成20年度は2-A1と2-C3の間(LCI統計量の値は 0.0383),平成21年度は1-A1と2-A10の間(0.0176),平成22年度は1-A1と2-A3の間

(0.0155)であった.LCI検定の閾値を0.01ではなく0.05とすれば,局所従属性は全く検 出されず,出題者による局所独立性の意図が満たされているといえる.

5.3.2 『英語(リスニング)』の分析

一次元性確認のための固有値のスクリープロットは図5.7–5.9のとおりである.平成21 年度は第1固有値と第2固有値の差が7.39であり,それ以降の隣接する固有値の間に1を 超える差はない.したがって平成21年度のテスト得点は1次元の能力潜在変数の影響を受 けるといえる.平成20年度は第1固有値と第2固有値の間に3.44,第2固有値と第3固 有値の間に1.80の差があり,それ以降に1を超える差はない.平成22年度は第1固有値 と第2固有値の間に4.75,第2固有値と第3固有値の間に1.67の差があり,それ以降に1 を超える差はない.したがって,平成20および22年度のテスト得点は2次元の能力潜在 変数の影響を受けるといえる.

ILS分析の結果は,図5.10–5.12のとおりである.項目数は各年度25であるため,項目 の組み合わせは300組ずつである.そのうち局所従属なものは平成20年度から順に62組

(20.7%),51組(17.0%),81組(27.0%)であり,『英語(筆記)』と比較して局所従属性 が多く存在した.他の項目との間に局所従属性がないのは,平成20年度は1-3,1-6,2-10, 4-B25の4項目,平成21年度は1-1,1-2,1-4,2-10,2-13,3-B18,4-A21の7項目,平成 22年度は1-1,1-4,3-B18,4-A21の4項目であった.これらの項目の正答率(表5.2–5.4) は上位のものが多い.これらの項目は受検者の大多数が正答し,誤答した受検者の人数が LCI検定に不十分で,局所従属関係が検出できなかった可能性がある.

最も強い局所従属性は,平成20年度は1-4と3-A14間(LCI統計量の値は0.0416),平 成21年度は1-6と2-9間(0.0413),平成22年度は1-3と4-B23間(0.0436)である.LCI 検定の閾値を0.05とすれば,全項目が互いに局所独立となる.

0 2 4 6 8 10 12 14

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図 5.3: 平成22年度『英語(筆記)』の固有値のスクリープロット

表5.2: 平成20年度『英語(リスニング)』各項目の正答率 項目 正答率 項目 正答率 項目 正答率 項目 正答率

1-1 0.859 2-7 0.832 3-A14 0.793 4-A20 0.660

1-2 0.978 2-8 0.709 3-A15 0.742 4-A21 0.842

1-3 0.981 2-9 0.712 3-A16 0.606 4-A22 0.793

1-4 0.318 2-10 0.965 3-B17 0.826 4-B23 0.647

1-5 0.796 2-11 0.565 3-B18 0.758 4-B24 0.533

1-6 0.935 2-12 0.832 3-B19 0.927 4-B25 0.889

2-13 0.804

註: 分析に使用した石岡[11] のデータの正答率であり,実受検者の正答率とは異なる.

1-A2 1-A3

1-B1 1-B2 1-C3

2-B1 2-B2 2-B3

2-C1 2-C2

2-C3 2-A1 2-A2

2-A3 2-A4 2-A5

2-A6 2-A7

2-A8 2-A9

2-A10

3-B1 3-B2 3-B3

3-C1 3-C2 3-C3

4-A1 4-A2 4-A3 4-B1

4-B2 4-B3

5-A 5-B 5-C

6-2

6-3 6-4

6-7 6-5 6-6 6-1

註: 項目名の先頭は大問番号.

図5.4: 平成20年度『英語(筆記)』のILS分析の結果

表5.3: 平成21年度『英語(リスニング)』各項目の正答率 項目 正答率 項目 正答率 項目 正答率 項目 正答率

1-1 0.698 2-7 0.753 3-A14 0.622 4-A20 0.797

1-2 0.924 2-8 0.508 3-A15 0.609 4-A21 0.833

1-3 0.677 2-9 0.594 3-A16 0.536 4-A22 0.732

1-4 0.818 2-10 0.839 3-B17 0.688 4-B23 0.570

1-5 0.409 2-11 0.818 3-B18 0.865 4-B24 0.490

1-6 0.357 2-12 0.872 3-B19 0.729 4-B25 0.622

2-13 0.849

註: 分析に使用した荘島[29] のデータの正答率であり,実受検者の正答率とは異なる.

1-A1 1-A2 1-A3

1-B1 1-B2

1-C

1-D

2-B1 2-B2 2-B3

2-C1 2-C2 2-C3 2-A1

2-A2 2-A3 2-A4 2-A5 2-A6 2-A7

2-A8 2-A9

2-A10

3-A1 3-A2 3-B29

3-B30 3-B31

3-C32 3-C33 3-C34

4-A1 4-A2

4-A3

4-B1 4-B2 4-B3

5-A 5-B 5-C

6-2 6-3

6-4

6-7 6-6 6-5 6-1

註: 項目名の先頭は大問番号.

図5.5: 平成21年度『英語(筆記)』のILS分析の結果

表5.4: 平成22年度『英語(リスニング)』各項目の正答率 項目 正答率 項目 正答率 項目 正答率 項目 正答率

1-1 0.900 2-7 0.776 3-A14 0.842 4-A20 0.942

1-2 0.695 2-8 0.821 3-A15 0.942 4-A21 0.897

1-3 0.713 2-9 0.879 3-A16 0.753 4-A22 0.626

1-4 0.987 2-10 0.468 3-B17 0.913 4-B23 0.295

1-5 0.884 2-11 0.811 3-B18 0.903 4-B24 0.797

1-6 0.929 2-12 0.742 3-B19 0.811 4-B25 0.716

2-13 0.824

註: 分析に使用した荘島[30] のデータの正答率であり,実受検者の正答率とは異なる.

1-A1 1-A2 1-A3

1-B1 1-B2

1-A4

1-B3

2-B1 2-B2 2-B3

2-C1 2-C2 2-C3 2-A1

2-A2 2-A3 2-A4

2-A5

2-A6

2-A7 2-A8

2-A9 2-A10

3-A1 3-A2 3-B29

3-B30 3-B31

3-C32 3-C33 3-C34

4-A1 4-A2 4-A3

4-B1 4-B2 4-B3

5-1 5-2

5-3

6-2

6-3 6-4

6-6 6-5 6-1

5-4 5-5

註: 項目名の先頭は大問番号.

図5.6: 平成22年度『英語(筆記)』のILS分析の結果

0 1 2 3 4 5 6 7 8

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図5.7: 平成20年度『英語(リスニング)』の固有値のスクリープロット

0 1 2 3 4 5 6 7 8 9

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図5.8: 平成21年度『英語(リスニング)』の固有値のスクリープロット

0 1 2 3 4 5 6 7 8 9

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図5.9: 平成22年度『英語(リスニング)』の固有値のスクリープロット

1-3 1-2

1-4

1-6 1-5

1-1

2-8

2-9

2-10

2-13 2-12 2-7

2-11

3-A14 3-A15

3-A16 3-B17

3-B18

3-B19

4-A20

4-A21 4-A22

4-B23 4-B24 4-B25

註: 項目名の先頭は大問番号.

図5.10: 平成20年度『英語(リスニング)』のILS分析の結果

1-2 1-3

1-4

1-6 1-5

1-1

2-8

2-9

2-10

2-13 2-12

2-7

2-11

3-A14 3-A15

3-A16 3-B17

3-B18

3-B19

4-A20

4-A21 4-A22

4-B23 4-B24

4-B25

註: 項目名の先頭は大問番号.

図5.11: 平成21年度『英語(リスニング)』のILS分析の結果

1-2 1-3

1-4

1-6 1-5

1-1

2-8

2-9

2-10

2-13 2-12

2-7

2-11

3-A14 3-A15

3-A16 3-B17

3-B18

3-B19

4-A20

4-A21 4-A22

4-B23 4-B24

4-B25

註: 項目名の先頭は大問番号.

図5.12: 平成22年度『英語(リスニング)』のILS分析の結果

5.3.3 『数学I・数学A』の分析

一次元性確認のための固有値のスクリープロットは図5.13–5.15のとおりである.平成 20年度は第4固有値と第5固有値の間に1.11の差があり,平成21年度は第4固有値と第 5固有値の間に1.29の差がある.したがって平成20および21年度のテスト得点は4次元 の能力潜在変数の影響を受けるといえる.平成22年度は第3固有値と第4固有値の間に 1.59の差がある.したがって平成22年度のテスト得点は3次元の能力潜在変数の影響を 受けるといえる.

ILS分析の結果は,図5.16–5.18のとおりである.これらには以下の4点の特徴がある.

第一に,第2問(2次関数)に属する項目同士の間に局所従属関係がほとんどない.平 成20年度の第2問は「ト」と「ナニヌ」の間の1ヶ所,平成21年度は「アイウエオ」と

「カキク」の間,および「ツテ」と「トナニ」の間の2ヶ所が局所従属だが,これら以外の 第2問の局所従属性はいずれも他大問の項目との間のものである.第2問の項目は文章の 一部として出題されるため,同じ大問内で局所従属性が検出されないことは不自然である.

このような場合,出題者の意図しない解法が存在する可能性があるため,問題文および解 答を注意深く見直す必要がある.

第二の特徴は,第1問後半(集合と論理)に属する項目同士の間に局所従属性が多く検 出されていることである.これらの項目は選択枝を共有しており,互いにヒントとなり局 所従属性の原因となっていると考えられる.

第三の特徴は,第3問と第4問において,隣接する項目間に局所従属性がしばしば検出 されていることである.『数学I・数学A』の項目は,文章の途中に配置され,直前の項目 を利用することが多いため,自然な現象といえる.

最後に,大問をまたぐ局所従属性は,大問の終盤の項目との間に多く検出されている.

異なる大問の項目が終盤の項目のヒントになっていたり,逆に大問終盤の項目が他大問の 項目のヒントになっていたりすることは考えにくい.センター試験の数学のように,出題 された順で解答することが必要なテストでは,大問終盤の項目に誤答する要因として,項 目の困難度の他に,時間内に解答に到達しないことも考えられる.実際に,それぞれのテ ストの無回答率(表5.5–5.7)は,大問終盤の項目ほど高くなっている.したがって,『数 学I・数学A』の得点には,テストで測定する能力の他に解答速度が別次元の能力として 影響を与えていると考えられる.

0 2 4 6 8 10 12 14 16 18

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図5.13: 平成20年度『数学I・数学A』の固有値のスクリープロット

0 2 4 6 8 10 12 14 16

1 2 3 4 5 6 7 8 9 10

Eigenvalue

Factor number

図5.14: 平成21年度『数学I・数学A』の固有値のスクリープロット

表5.5: 平成20年度『数学I・数学A』各項目の無回答率 項目 無回答率 項目 無回答率

1-アイ 0.003 2-ア 0.000

1-ウエオカ 0.019 2-イウエオカ 0.011

1-キク 0.022 2-キクケコ 0.038

1-ケ 0.003 2-サシス 0.044

1-コ 0.005 2-セ 0.060

1-サ 0.014 2-ソタ 0.063

1-シ 0.019 2-チ 0.084

2-ツテ 0.087

2-ト 0.082

2-ナニヌ 0.098

項目 無回答率 項目 無回答率

3-ア 0.005 4-ア 0.005

3-イウエ 0.035 4-イ 0.016

3-オカ 0.014 4-ウエオ 0.027

3-キクケコ 0.044 4-カキク 0.041

3-サシ 0.044 4-ケコサ 0.049

3-ス 0.035 4-シスセ 0.084

3-セ 0.038 4-ソタチ 0.180

3-ソタチ 0.139

3-ツ 0.104

3-テトナニ 0.330

3-ヌネノ 0.392

註: 分析に使用した石岡[11] のデータの無回答率であり,実受検者の無回答率とは異なる.

ドキュメント内 テスト項目分析への応用 (ページ 68-84)

関連したドキュメント