LRT-CAT のための項目除去方針の提案

表3 Logit Biasと正答確率の関係

Logit Bias 正答確率 Logit Bias 正答確率

-4.0 98% 4.0 2%

-3.0 95% 3.0 5%

-2.2 90% 2.2 10%

-2.0 88% 2.0 12%

-1.4 80% 1.4 20%

-1.1 75% 1.1 25%

-1.0 73% 1.0 27%

-0.8 69% 0.8 31%

-0.5 62% 0.5 38%

-0.4 60% 0.4 40%

-0.2 55% 0.2 45%

-0.1 52% 0.1 48%

0.0 50% 0.0 50%

れはIRTのICCと似ているところが多い．IRPの形状を見て，望ましくない形を除去するとい うことは可能だが，視覚だけに頼った評価は煩雑になり判断を誤る可能性もある．

数値としてIRP形状を要約しているものとしてIRP指標が提案されている．木村・永岡（2012b）

は，IRP指標γとcとaの値をもとに，LRTに基づくCAT（LRT-CAT）のためのアイテムバン ク構築において望ましくない項目除去方針を提案するとともに，これまで行っていたRMの指 標により除去された項目を比較し考察を加えた．

LRT-CATのアイテムバンク構築において望ましくないと考えられる項目のIRPは，IRP指標

から見て次のような場合である．

（１）γ=1の場合

（２）cの値が大きい場合

（３）aの値が小さい場合

たとえば，図26のようにIRPが常に右肩下がりの場合，γ=1となる．全体的な下がり具合は cによって判断される．分析した項目の中に複数 γ=1となる項目がある場合は，cの値がより 大きいものから除去すべきであろう．

図26 IRPの例1 図27 IRPの例2

図28 IRPの例3

0.0 0.2 0.4 0.6 0.8 1.0

1 2 3 4 5

PROBABILITY

LATENT RANK

0.0 0.2 0.4 0.6 0.8 1.0

1 2 3 4 5

PROBABILITY

LATENT RANK 0.0

0.2 0.4 0.6 0.8 1.0

1 2 3 4 5

PROBABILITY

LATENT RANK

γ=1でなくても（たとえばγ=0.5でも），図27のようにcの値が大きい場合（c=0.113）も，

除去すべきであろう．（１）（２）の場合は，より上位のランクの受験者の正答確率の方が低い 項目という意味で望ましくない．

c の値がある程度以下の値になると（0 に近づくと）あまり大きな問題ではなくなる．それ よりもaの値の小ささの方が問題になる．つまり，この状況は，図28のようにIRPがほぼ平 らな状態の項目であることを示すからである．（３）の場合は，各ランクの受験者の正答確率 が同じで，各ランクの受験者の能力を識別するという意味において，望ましくない項目といえ る．

上の（１）～（３）の要素を持つ項目が，LRT-CATのアイテムバンク構築において望ましく ない項目であり除去すべ項目として，どのような基準と手順で，それらの項目を除去すべきで あろうか．次の優先順位を持つ3つの条件に照らし合わせ，1項目ずつ除去し，再分析を行う という指針を提案する．ある時点の分析結果で，複数の項目が望ましくない要素を持っていい たとしても，一度に複数の項目を除去することは危険であろう．なぜなら，分析から1つの項 目を外すだけで，他のIRPが大きく変わることもあり得るからである．

第1条件：γ=1 第2条件：c≧0.05 第3条件：a＜0.05

まず，第1条件に当てはまる項目を探し，複数見つかった場合は第2条件を加え，cの値が 最大のものを除去する．第1条件にも第2条件にも当てはまる項目が無くなった場合，第3条 件を加え，複数ある場合はa値が最小のものから除去する．

多肢選択形式（4択）の英語文法語彙問題80項目に対する207人の受験生の応答データを，

Exametrika を使い，単純増加制約をつけずに，潜在ランク数 5 で，SOM のメカニズムによる

LRTに基づく分析を行い，前述の指針により，1項目ずつ望ましくない項目を除去し，再分析 を繰り返した．13項目を除去し14回目の分析をしたところで，前述の指針に当てはまる項目 は1つもなくなった．除去された13項目の，各分析時点でのIRPとIRP指標を示すと表4の ようになる．除去の判断として使われたIRP指標の部分を分かるようにするために，そのセル を網掛けしてある．たとえば，最初のVgm0047という項目の場合，γ=1となる項目が他にもあ ったため，cの値も参照して除去する項目を決めている．第1条件で除去されたのは4項目，

第2条件と第3条件で除去されたのは，それぞれ4項目と5項目であった．

LRT による分析に使ったものと同じ項目応答データを使って，RM に基づく項目除去を

WINSTEPS により行った．基準は，これまで行ってきた「MNSQ＞1.3」かつ「Zstd＞1.96」を

使った．前節のLRTの場合と同様に，最も望ましくない項目から除去し，1項目を除去するご とに，分析をやり直した．その結果，8 項目が除去され，9 回目の分析で，上記の条件に引っ かかる項目は無くなった．表4の結果と比較するために，表4に現れたすべての項目を表5に も掲載し，RMのミスフィットの基準で除去された項目名とその基準に使った値の部分を網掛 けにした．

表4 LRT（IRP指標）に基づく望ましくない項目の除去⁸

Item

IRP IRP Index

Rank 1 Rank 2 Rank 3 Rank 4 Rank 5 α a β b γ c

Vgm0047 0.390 0.308 0.243 0.206 0.168 1 0.000 1 0.390 1.000 0.221 Vgm0042 0.266 0.213 0.187 0.154 0.101 1 0.000 1 0.266 1.000 0.165 Vgm0038 0.294 0.241 0.180 0.221 0.261 3 0.041 1 0.294 0.500 0.113 Vgm0008 0.196 0.194 0.186 0.154 0.149 1 0.000 1 0.196 1.000 0.047 Vgm0028 0.253 0.248 0.243 0.215 0.208 1 0.000 1 0.253 1.000 0.045 Vgm0007 0.241 0.275 0.299 0.267 0.205 1 0.034 3 0.299 0.500 0.094 Vgm0061 0.308 0.360 0.318 0.297 0.376 4 0.079 5 0.376 0.500 0.063 Vgm0014 0.919 0.958 0.979 0.958 0.919 1 0.039 1 0.919 0.500 0.060 Vgm0065 0.120 0.125 0.110 0.115 0.115 3 0.005 2 0.125 0.500 0.015 Vgm0032 0.256 0.223 0.221 0.229 0.240 4 0.011 1 0.256 0.500 0.035 Vgm0071 0.151 0.154 0.144 0.163 0.167 3 0.020 5 0.167 0.250 0.011 Vgm0056 0.105 0.133 0.132 0.152 0.165 1 0.028 5 0.165 0.250 0.001 Vgm0053 0.232 0.271 0.282 0.263 0.266 1 0.039 3 0.282 0.250 0.020

表4と表5を比べると，RMに基づいて望ましくない項目として除去された8項目は，すべ て本研究が提案するLRT-CATのためのアイテムバンク構築において望ましくない項目の除去 指針によっても除去されている．表4で除去されたが表5で除去されていない項目についても，

RMのミスフィット指標の数値を見ると，どれも除去する基準に近い値のものばかりである．

まだ 80 項目について検討を加えただけであるので，ここから結論を導くのは早急すぎる．

しかし，本研究で提案した LRT-CAT のためのアイテムバンク構築において望ましくない項目 の除去指針は，RMのミスフィットによる除去と重なる部分が多く，おおむね良好に機能して いるように思われる．

両者で判断が異なる部分にどのような特徴があるかについては，まだ解明できていない．今 後より多くのテスト項目を分析し，明らかにしていく必要がある．また，提案した3つの条件 式の中の値（特にcの値とaの値）は，ヒューリスティックなものであり，今後の研究と目的 に応じて変化させるべきものだと考える．

8 Exametrikaでは，c の値にマイナスの符合がついて出力されるが，表4中では，「減少した大きさの和」

という定義にしたがい，マイナスの符合を取り除いた．

表5 RM（ミスフィット指標）に基づく望ましくない項目の除去

Measure SE Infit MNSQ Infit Zstd Outfit MNSQ Outfit Zstd

Vgm0047 1.28 0.17 1.25 3.06 1.49 3.86

Vgm0042 1.75 0.19 1.18 1.55 1.50 2.81

Vgm0038 1.28 0.16 1.21 2.65 1.48 3.84

Vgm0008 1.64 0.18 1.19 1.74 1.48 2.92

Vgm0028 1.49 0.17 1.18 1.92 1.47 3.19

Vgm0007 1.31 0.16 1.24 2.88 1.49 3.82

Vgm0061 0.92 0.15 1.14 2.31 1.24 2.60

Vgm0014 -2.53 0.25 1.00 0.04 1.49 1.60

Vgm0065 2.39 0.21 1.10 0.69 1.38 1.61

Vgm0032 1.44 0.17 1.16 1.82 1.49 3.45

Vgm0071 2.03 0.19 1.12 1.02 1.30 1.59

Vgm0056 2.28 0.21 1.08 0.62 1.34 1.52

Vgm0053 1.28 0.16 1.18 2.28 1.33 2.74