IRT モデルの比較 - 第 2 研究の結果 - 学校評価の IRT スケールに基づく CS 分析法の開発

7.3 第 2 研究の結果

7.3.2 IRT モデルの比較

表 7.3 CS 分析の「個人総合満足度との関連度」と２PLM および GRM の識別力𝑎_𝑗との相関係数

2PLMの

識別力𝑎_𝑗

GRMの

識別力𝑎_𝑗

2PLM<GRM の場合○

H29A教 - 0.890 ○

H29A生 0.863 0.925 ○

H29A保 0.859 0.928 ○

H30A教 0.492 0.837 ○

H30A生 0.917 0.941 ○

H30A保 0.861 0.952 ○

R1A教 0.682 0.918 ○

R1A生 0.833 0.916 ○

R1A保 0.941 0.944 ○

H30B教 - 0.850 ○

H30B生 0.819 0.925 ○

H30B保 0.874 0.941 ○

H30C教 - 0.867 ○

H30C生 0.752 0.897 ○

H30C保 0.484 0.826 ○

図 7.6 CS 分析の「個人総合満足度との関連度」と２PLM および GRM の識別力𝑎_𝑗と の相関係数

0 0.2 0.4 0.6 0.8 1

H29A教 H29A生 H29A保 H30A教 H30A生 H30A保 R1A教 R1A生 R1A保 H30B教 H30B生 H30B保 H30C教 H30C生 H30C保

ＣＳ分析との相関駅数

2PLMa GRMa

(ⅱ)集団ごとの CS 分析の「項目満足度」と２PLM の困難度の反数−𝒃_𝒋，GRM の境界値パラメタの平均の反数−𝒃_𝒋，および GRM の３つの境界値パラメタ のうちの𝒃_𝟐𝒋の反数−𝒃_𝟐𝒋との相関係数

（ⅱ）の結果を表 7.4と図 7.7 に示す。各集団ごとに CS分析の「項目満足度」との相関係数を示している。各集団の２PLM の困難度の反数−𝑏_𝑗との相関係数を青，GRM の境界値パラメタの平均の反数−𝑏_𝑗との相関係数を橙，

GRM の３つの境界値パラメタのうちの𝑏_2𝑗の反数−𝑏_2𝑗との相関係数を灰色で示している。困難度パラメタや境界値パラメタで反数（符号を反転させた数値）を用いる理由の詳細は 7.3.5 で後述するが，CS 分析における項目満足度と同様の挙動を表すためには IRT の困難度パラメタや境界値パラメタの符号を反転させる必要がある。2PLM のデータが存在しない集団は，4件法の回答を2 値型に変換し，EasyEstimation(熊谷, 2009)で推定を行ったところ，パラメタ推定が収束せず，項目パラメタが得られなかったため，欠測としている。

識別力の場合とは異なり，どの集団においても高い相関を示したものは無かった。まず，２PLM の困難度の反数−𝑏_𝑗については，15 の集団のうち５つの集団でもっとも高い相関係数であったが，３つの集団でパラメタが収束しなかった。そこで，GRM の境界値パラメタの平均の反数−𝑏_𝑗と，GRM の３つの境界値パラメタのうちの𝑏_𝑗2の反数−𝑏_𝑗2とを比較すると，11 の集団で GRM の境界値パラメタの平均の反数−𝑏_𝑗の相関係数の方が高い値であった。

表 7.4 CS 分析の「項目満足度」と２PLM の困難度の反数−𝑏_𝑗，GRM の境界値パラメタの平 均の反数−𝑏_𝑗，および，GRM の３つの境界値パラメタのうちの𝑏_𝑗2の反数−𝑏_𝑗2との相関係数

2PLMの−𝑏_𝑗 GRMの−𝑏_𝑗 GRMの−𝑏_𝑗2

２PLM-ｂjが他より大きい場合○

GRM-bj2<GRM-bj

の場合○

H29A 教 - 0.491 0.823

H29A 生 0.946 0.956 0.932 ○

H29A 保 0.947 0.961 0.953 ○

H30A 教 0.878 0.659 0.783 ○

H30A 生 0.977 0.974 0.969 ○ ○

H30A 保 0.952 0.959 0.957 ○

R1A 教 0.825 0.284 0.284 ○

R1A 生 0.969 0.974 0.966 ○

R1A 保 0.884 0.953 0.933 ○

H30B教 - 0.624 0.661

H30B生 0.979 0.973 0.963 ○ ○

H30B保 0.948 0.968 0.946 ○

H30C 教 - 0.210 0.145 ○

H30C 生 0.913 0.928 0.913 ○

H30C 保 0.889 0.887 0.864 ○ ○

図 7.7 CS 分析の「項目満足度」と２PLM の困難度の反数−𝑏_𝑗，GRM の境界値パラメタの 平均の反数−𝑏_𝑗，および，GRM の３つの境界値パラメタのうちの𝑏_𝑗2の反数−𝑏_𝑗2との相関係数

0 0.2 0.4 0.6 0.8 1

H29A教 H29A生 H29A保 H30A教 H30A生 H30A保 R1A教 R1A生 R1A保 H30B教 H30B生 H30B保 H30C教 H30C生 H30C保

ＣＳ分析との相関係数

2PLM-b GRM-b GRM-b2

(ⅲ)集団ごとの学校評価アンケートの合計得点（個人総合満足度）と２PLM で推定した特性値 θ および GRM で推定した特性値 θ との散布図 （ⅲ）の結果を図 7.8に示す。図 7.8は，同一回答者について，横軸に

は 2PLM または GRM で推定した特性値θをとり，縦軸には学校評価アンケートの合計得点（学校評価アンケートの 4 件法の回答の全項目の合計。第 1研究における「個人総合満足度」。）をとった散布図である。青色のプロットは 2PLM で推定したθを表し，橙色のプロットは GRM で推定したθを表している。2PLM のデータが存在しない集団は，4 件法の回答を 2値型に変換し，EasyEstimation（熊谷, 2009）で推定を行ったところ，パラメタ推定が収束せず，項目パラメタも特性値パラメタも得られなかったため，欠測としている。

２PLMで推定した特性値θとGRMで推定した特性値θを比較すると，

いずれの集団においても，GRM で推定した特性値θの方が合計得点との対応が取れている。いずれの集団においても，2PLM で推定したθの方は，

GRMで推定した特性値θと比べると上位層と下位層が圧縮されたような散布図になっている。

また，H30（2018）年度 B 高等学校の生徒および保護者のデータは，他

の集団に比べて回答の欠測が多く，合計得点と２PLM および GRM で推定した特性値θとの対応があまりよくなかったが，回答の欠測が１つでもあった回答者を除いてみると，他の集団と同程度の対応が見られた。

図 7.8 学校評価アンケートの合計得点と２PLMθおよび GRMθ との散布図 0

50 100 150

-4 0 4

合計得点

H29A教 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H29A生 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H29A保 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30A教 θ

0 50 100 150

-4 0 4

合計得点

H30A生 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30A保 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

R1 A教 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

R1A生 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

R1A保 θ ^GRMθ_{2PLM θ}

0 100

-4 0 4

合計得点

H30B教 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30B生 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30B保 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30B生(除欠測)θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30B保(除欠測) θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30C教 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30C生 θ ^GRMθ_{2PLM θ}

0 50 100 150

-4 0 4

合計得点

H30C保 θ ^GRMθ_{2PLM θ}

(ⅳ)集団ごとの２PLM で推定した特性値 θ および GRM で推定した特性値 θ との散布図

（ⅳ）の結果を図 7.9に示す。図 7.9は，同一回答者について，横軸に GRMで推定した特性値θをとり，縦軸には 2PLM で推定した特性値θをとった散布図である。2PLM のデータが存在しない集団は，4 件法の回答を 2値型に変換し，EasyEstimation(熊谷, 2009)で推定を行ったところ，

パラメタ推定が収束せず，項目パラメタも特性値パラメタも得られなかったため，空欄になっている。

(ⅲ)の合計得点との散布図で確認したことと同様に，いずれの集団でも，

GRMで推定した特性値θと 2PLMで推定した特性値θでは，2PLMで推定した特性値θの上位層と下位層の特性値θが圧縮された形になっており，特に上位層の特性値θが圧縮されており，それぞれ一定の特性値θの値より上の数値が存在していない。

73 図 7.9 ２PLMθと GRMθ との散布図 -4

-2 0 2 4

-4 -2 0 2 4

2PLM θ

H29A教 GRMθ

-4 -2 0 2 4

2PLM θ

H29A生 GRMθ

-4 -2 0 2 4

2PLM θ

H29A保 GRMθ

-4 -2 0 2 4

2PLM θ

H30A教 GRMθ

-4 -2 0 2 4

2PLM θ

H30A生 GRMθ

-4 -2 0 2 4

2PLM θ

H30A保 GRMθ

-4 -2 0 2 4

2PLM θ

R1 A教 GRMθ

-4 -2 0 2 4

2PLM θ

R1A生 GRMθ

-4 -2 0 2 4

2PLM θ

R1A保 GRMθ

-4 -2 0 2 4

2PLM θ

H30B教 GRMθ

-4 -2 0 2 4

2PLM θ

H30B生 GRMθ

-4 -2 0 2 4

2PLM θ

H30B保 GRMθ

-4 -2 0 2 4

2PLM θ

H30B生(除欠測)GRMθ

-4 -2 0 2 4

2PLM θ

H30B保(除欠測)GRMθ

-4 -2 0 2 4

2PLM θ

H30C教 GRMθ

-4 -2 0 2 4

2PLM θ

H30C生 GRMθ

-4 -2 0 2 4

2PLM θ

H30C保 GRMθ

(ⅴ)集団ごとの２PLM で推定した特性値 θ の標準誤差および GRM で推定 した特性値 θ の標準誤差との散布図

（ⅴ）の結果を図 7.10 に示す。図 7.10 は，同一回答者について，横軸に GRM で推定した特性値θ推定の標準誤差（Standard Error；SE）をとり，縦軸には 2PLM で推定した特性値θ推定の SE をとった散布図である。特性値θ推定の標準誤差は，回答者の特性値θの推定の精度を表し（加

藤他，2014），この値が低いほど精度よく特性値θを推定できていると言

える。2PLM のデータが存在しない集団は，4 件法の回答を 2値型に変換

し，EasyEstimation(熊谷, 2009)で推定を行ったところ，パラメタ推定が

収束せず，項目パラメタも特性値パラメタも得られなかったため，空欄になっている。

２PLMで推定した特性値θの SEと GRMで推定した特性値θの SE を比較すると，いずれの集団においても，GRMで推定した特性値θの方が SE が小さい，つまり，特性値θの推定の精度がよい傾向が見られる。いずれの集団においても，GRM で推定した特性値θの SE は，概ね 0.2～

0.3 付近に大多数が存在しているが，GRM で推定した特性値θの SE が

0.2～0.3にあるプロットの 2PLMで推定したθの SE の値は，0.2～0.6 の

範囲に散らばっており，やはり GRMで推定した特性値θの方が精度よく推定されていると判断できる。

また，H30（2018）年度 B 高等学校生徒および保護者のデータは，他の

集団と比べて回答の欠測が多く，GRM で推定した特性値θの SE も数値が高い（つまり，精度よくθを推定できていない）プロットが他の集団より多く見られるが，回答の欠測が１つでもあった回答者を除いてみると，

他の集団のグラフと同様の傾向を確認できる。

図 7.10 ２PLMθの標準誤差（SE）と GRMθ の標準誤差（SE）との散布図 0

0.2 0.4 0.6

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H29A教

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H29A生

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H29A保

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30A教

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30A生

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30A保

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

R1 A教

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

R1A生

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

R1A保

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30B教

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30B生

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30B保

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30B生(除欠測)

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30B保(除欠測)

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30C教

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30C生

0 0.2 0.4 0.6

2PLM θのSE

GRMθのSE

H30C保

(ⅵ)２PLM と GRM のテスト情報量

（ⅵ）の結果を図 7.11 に示す。図 7.11は，各集団の 2PLM およびGRM のテスト情報量のグラフで，横軸に特性値θをとり，縦軸にテスト情報量をとったグラフである。2PLMのデータが存在しない集団は，4件法の回答を 2値型に変換し，EasyEstimation(熊谷，2009)で推定を行ったところ，パラメタ推定が収束せず，項目パラメタが得られず，特性値パラメタも得られなかったため，欠測としている。

テスト情報量が大きいところは，回答者の能力パラメタの推定の精度が

良いところと解釈することができる（加藤他，2014）。言い換えれば，テスト情報量の大きい特性値θの範囲が，精度よく特性値θを推定できている範囲であると言える。

図７.11 を見てみると，全ての集団で 2PLM のテスト情報量が大きいθ

の範囲よりも，GRM のテスト情報量が大きいθの範囲の方が広いことが分かる。

図 7.11 集団ごとの２PLM と GRM のテスト情報量 0

20 40

-4 -2 0 2 4

テスト情報量

H29A教特性値θ ^GRM_2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H29A生特性値θ GRM 0 20 40

-4 -2 0 2 4

テスト情報量

H29A保特性値θ ^GRM_2PLM

0 20 40

-4 -2 0 2 4

テスト情報量

H30A教特性値θ ^GRM

2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H30A生特性値θ ^GRM

2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H30A保特性値θ ^GRM

2PLM

0 20 40

-4 -2 0 2 4

テスト情報量

R1A教特性値θ ^GRM_2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

R1A生特性値θ ^GRM_2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

R1A保特性値θ ^GRM_2PLM

0 20 40

-4 -2 0 2 4

テスト情報量

H30B教特性値θ ^GRM_2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H30B生特性値θ ^GRM_2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H30B保特性値θ ^GRM_2PLM

0 20 40

-4 -2 0 2 4

テスト情報量

H30C教特性値θ ^GRM

2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H30C生特性値θ ^GRM

2PLM 0 20 40

-4 -2 0 2 4

テスト情報量

H30C保特性値θ ^GRM

2PLM

ドキュメント内学校評価の IRT スケールに基づく CS 分析法の開発 (ページ 68-80)