4.2 学力テストデータを用いた垂直尺度構成
4.2.2 項目分析と前処理
IRTのパラメタ推定をおこなう前に国語と算数・数学 (以下,数学) の項目分析をおこな った。確認した事項は項目通過率 (Passing Rate) ,項目無回答率 (No Response Rate) ,点双 列相関係数 (Point Biserial Correlation) ,クロンバックのα係数,である。結果は表4.2~4.9 に示す。
表 4.2 項目通過率(国語)
表 4.3 項目無回答率(国語)
表 4.4 点双列相関係数(国語)
表 4.5 クロンバックのα係数(国語)
表 4.6 項目通過率(数学)
表 4.7 項目無回答率(数学)
表 4.8 点双列相関係数(数学)
表 4.9 クロンバックのα係数(数学)
項目通過率が極端に低い項目が,国語で2項目 (st101=.007~.08, st108=.05~.20),数学で7 項目 (c105=.010~.067, d110=.026~.073, e108=.005~.038, f109=.025, f110=.013, st105=.005~.202, st109=0.0~.184) 存在した。なおst109は小学5年生で通過率が0となっていた。さらに国語 のd101, st104, st107と数学のst105はすべて小学6年生の学年(G3)でピークを迎えてお り,通過率が単調増加しなかった。項目通過率が異常に低い項目は,項目自体の難易度設定 が難しすぎるか,問題の文章や設定に何らかの問題がある可能性があり,IRTのパラメタ推 定を不安定にするひとつの要因である。通過率が単調増加しない項目は特定の学年に有利 に働く項目が存在する可能性を示し,IRTの正答確率の単調増加性の仮定を脅かす可能性が ある。
点双列相関係数が低い項目は,国語で2項目 (st101=.073~.202 , st108=.0003~.269),数学で 2項目 (e108=.026~.326, e109=.050~.287) であった。国語の2項目と数学のe108については 項目通過率が極端に低いことも影響して,点双列相関係数が不安定になっている可能性が ある。
項目無回答率は,国語も数学も0.5を超える項目が複数項目存在した。
クロンバックのα係数はすべての学年のテストで0.8付近の値を示しているため,信頼性 係数の推定値に大きな問題はないと判断した。
事前の項目分析では,どちらのテストも削除した方が良いと思われる項目が少数個検出 された。しかし,尺度全体で70項目しか存在せず,項目をひとつ削ることによる尺度全体 の情報の損失もあるため,一度IRTのパラメタ推定をおこない,推定値および推定誤差,適 合度などの指標をもとに再検討することとした。
最後に,IRTのパラメタ推定を実行する前にテストの測定の一次元性を,テトラコリック 相関係数の固有値の減衰状況より確認した。計画的な欠測を含むデータの場合尺度全体で 固有値を計算することはできないため,まずは学年ごとに一次元性の確認をおこない,続い て尺度化テスト項目でも一次元性の確認をおこない,両者の情報から総合的に判断する。計 算結果は図 4.17~4.20 に示した通りである。国語も数学も第一固有値から第二固有値にか けて大きく値が減少しており,概ね測定の一次元性は保証できるものと考える。
図 4.17 テスト冊子ごとの固有値の減衰状況(国語)
図 4.18 尺度化テストの固有値の減衰状況(国語)
0.0 2.5 5.0 7.5
0 10 20 30
component_number
Eigen_value
grade
G1 G2 G3 G4 G5
1 2 3
2.5 5.0 7.5 10.0
component_number
Eigen_value
図 4.19 テスト冊子ごとの固有値の減衰状況(数学)
図 4.20 尺度化テストの固有値の減衰状況(数学)
0.0 2.5 5.0 7.5 10.0
0 10 20 30
component_number
Eigen_value
grade
G1 G2 G3 G4 G5
1 2 3 4
2.5 5.0 7.5 10.0
component_number
Eigen_value