CAT のアルゴリズム

真ん中の困難度の項目(困難度11位)

① ② ③ ④ 1.* 少し易しい項目（困難度12位）

① ② ③ ④

2.* 少し易しい項目（困難度13位）

① ② ③ ④

3.*

・

・

・ [より易しい項目]

・

・

10.* 最も易しい項目（困難度21位）

① ② ③ ④

1.† 少し難しい項目（困難度10位）

① ② ③ ④

2.† 少し難しい項目（困難度9位）

① ② ③ ④

3.†

・

・

・ [より難しい項目]

・

・

10.† 最も難しい項目（困難度1位）

① ② ③ ④

*数字が赤で印字されている †数字が青で印字されている

① ② ③ ④は選択肢でマークする（削ると）赤または青色が現れる 図23 21項目を印刷したflexilevel testのレイアウト⁵

図24 CATアルゴリズムのフローチャート⁶

これまでに，CATのアルゴリズムは数多く提案されており，細かく条件を変えてシミュレー ションが行われたり，実際にCATを実施して研究が行われている．その多くはIRTに基づくも のである．LRTに基づくアルゴリズムを提案する前に、ここでは，Halkitis（1993）が看護学の 学生の薬理学の能力を測定するCATとして開発したRMによるCATアルゴリズム(図25)を参考 に，現代のCATが一般的にどのような流れで行われているのか，工夫すべき点はどこにあるの かについて，概略をつかむことにする．特に注目に値する工夫がなされている箇所は，図中に丸 数字を付した．

6 Thissen & Mislevy (2000:106）より引用

1. Begin with Provisional Proficiency Estimate

2. Select & Display Optimal Test Item

3. Observe & Evaluate Response

4. Revise Proficiency Estimate

5. Is Stopping Rule Satisfied?

6. End of Test

7. End of

Battery? 8. Administer Next Test

9. Stop Yes

Yes No

No

図25 CAT-Pharmacology algorithm⁷

①～③「CAT初期段階の偶然正解やケアレスミスによる推定バイアスの軽減」：初めにダミー 項目を2つ置いている．項目困難度が0のものを1問正解・1問不正解したものとして初期能力値を 推定し，実際に15項目解答が終わるまで，毎回の能力推定値の計算にもこのダミーを含め，15 項目解答が終わったらダミーを除外している．これにより初期の緊張による失敗や偶然の正解に より能力推定が大きく変わってしまうことを防いでいる．これは，attenuation paradox （Lord &

Novick, 1968）として知られている事象（実際の能力が初期能力推定値からずれていた場合，そ の後の能力推定と項目選択が不適切に行われてしまうこと）への対処である．m項目受験した後 の能力推定は，直前の能力推定値を𝜃𝑚，正答数を𝑅𝑚，能力_𝜃𝑚の受験者がj番目の項目に正答す る確率を_{𝑃𝑗(𝜃𝑚)}とし，

𝜽_𝒎+𝟏=𝜽_𝒎+ 𝑹𝒎− ∑^𝒎_𝒋=𝟏𝑷𝒋(𝜽_𝒎)

∑^𝒎_𝒋=𝟏𝑷_𝒋(𝜽_𝒎)�𝟏 − 𝑷_𝒋(𝜽_𝒎)� (23)

7 Halkitis (1993)より引用（図中の丸数字は筆者が説明のために加筆した）

①

②

③

⑤

④ ⑥

⑦

で表される．なお，𝑃𝑗(𝜃_𝑚)は式(13)で定義されている𝑃𝑗(𝜃_𝑖)と同義．

④・⑤「受験者の心理的負担軽減（項目困難度の調整）とitem exposureの調整」：第5項目まで は，推定能力よりも0.5logits低い困難度の項目の近くからランダムに選んでいる．推定能力と同 じ困難度の項目を選ぶと正答確率が50%になるのに対して，この場合62%になり，CATに不慣れ な学生に対して心理的負担を少なくしている．また，ランダムに選択することで項目の使用頻度

（item exposure）をコントロールしている．

⑥・⑦「終了条件の定義に関する工夫」：15項目すべて正解あるいは不正解の場合テストを終 了し最高あるいは最低スコアを提示している．それ以外の場合は30項目解答するか，SEが 0.4logitsより小さくなった場合に終了させている．さほど大きくないアイテムバンクの場合，平 均的困難度の項目からスタートして15項目すべて正解あるいは不正解の場合，それ以上その受験 者の推定能力に適した項目があるとは考えにくく，最高あるいは最低スコアとするほかない．測 定の精度を重視するならばSEのみを使った終了条件も考えられるが，受験者が間違った解答行 動を取ると，指定したSEになかなか達しないことがある．終了条件に上限項目数を設けておく ことは，極めて現実的であり，よく使われる策である．ちなみに，m項目受験した後の推定のSE は，

𝑺𝑬_𝒎+𝟏=� 𝟏

∑^𝒎_𝒋=𝟏𝑷_𝒋(𝜽_𝒎)�𝟏 − 𝑷_𝒋(𝜽_𝒎)� (24)

で計算される．