7.4 第 2 研究の考察
7.4.5 CS 分析グラフでの表現についての考察
IRT-CS 分析グラフの縦軸に境界値パラメタの平均の反数−𝑏𝑗を採用すること
で,等化したデータを CS 分析グラフで表現できることが示せた。簡単のため に 2PLM の項目特性曲線をもとにこの点を考察する。テスト理論の考え方で言
95
えば,ある項目の困難度が大きいとは,特性値θの低い方から多数の解答者が 誤答になるような項目特性曲線になっていることを意味するが,これをアンケ ートに置き換えれば,特性値θの低い方から多数の回答者が「あてはまらな い」と回答するような項目特性曲線になっているということであり,項目の評 価が低いと言える。一方,テスト理論の考え方で言えば,ある項目の困難度が 小さいとは,特性値θの高い方から多数の解答者が正答になるような項目特性 曲線になっていることを意味するが,これをアンケートに置き換えれば,特性 値θの高い方から多数の回答者が「あてはまる」と回答するような項目特性曲 線になっているということであり,項目の評価が高いと言える(図 7.20)。岩
間他(2012)においても,「困難度は各項目の満足度(の低さ)を意味してい
る」とあり,IRT の困難度をそのままアンケートの CS分析グラフに当てはめ ると,軸の意味が反転していることを指摘している。以上のことから, IRT-CS 分析グラフの縦軸には境界値パラメタの平均の反数−𝑏𝑗を採用し,「項目評 価」と呼称することを提案する。
図 7.20 困難度と項目特性曲線の解釈
次に,IRT-CS分析グラフの横軸について考察する。こちらも,簡単のために 2PLM の項目特性曲線をもとにこの点を考察する。テスト理論の考え方で言え ば,ある項目の識別力とは,平均的な能力の受験者における項目特性曲線の接 線の傾きを意味しており,能力θが高いほど正答し,低いほど誤答するような,
能力θと正答傾向の関連性を示すパラメタである(図 7.21)。これをアンケート に置き換えれば,まず,特性値θは(そのアンケートで問うている項目で構成さ
96
れる)総合満足度のようなものである。そして,識別力パラメタ𝑎𝑗は,その総合 満足度θとその項目の回答傾向が似ているかどうかを示すパラメタであると解 釈できる。岩間他(2012)においても,「識別力は各項目における潜在的な満足 度と満足率との関連の強さを意味している 」とあり,ここまでの考察と合致す る。以上のことから,IRT-CS分析グラフの横軸には識別力パラメタ𝑎𝑗を採用し,
「総合満足度θとの関連度」と呼称することを提案する。
図 7.21 識別力と項目特性曲線の解釈
ここまでの議論を踏まえて,IRT の文脈での呼称と,本研究で提案する呼称 の対応は表 7.8のようになる。
表 7.8 IRT での呼称と本研究で提案する呼称の対応
IRT での呼称 本研究で提案する呼称 特性値θ 総合満足度θ 識別力パラメタ𝑎𝑗
総合満足度θとの 関連度 境界値パラメタの
平均の反数−𝑏𝑗 項目評価
続いて,IRT-CS 分析グラフの象限の区切りについて考察する。まず,IRT-CS
分析グラフは,6.4.1 の図 6.7 で議論したとおり,図 7.22 のような4つの象限に 分けて分析する。ただし,縦軸および横軸の区切りに何の値を採用するかを検 討する必要がある。
97 図 7.22 IRT-CS 分析グラフの4つの象限
1つめに絶対象限として,横軸は 基準とした集団の(識別力パラメタ𝑎𝑗)=1 で,縦軸は基準とした集団の(境界値パラメタの平均の反数−𝑏𝑗)=0 で区切るこ とを提案する。(識別力パラメタ𝑎𝑗)=1 とは,基準とした集団において,2PLM で言えば,平均的な特性値θ(総合満足度θ)の受験者における項目特性曲線の 接線の傾きが1,つまり接線の傾きが 45°を意味する。これよりも傾きが急で あれば総合満足度との関連が高く,これよりも傾きが緩やかであれば総合満足 度の関連も低いと解釈できる。また,(境界値パラメタの平均 値の反数−𝑏𝑗)=0 とは,おおよそではあるが,基準とした集団において 4 件法の回答の2と3の 中間の評価にあたる。この絶対象限によって,基準とした集団の尺度で,総合満 足度θとの関連度が高いか低いか,項目評価が 4 件法の中間の評価(2と 3 の 間)よりも高いか低いかを判断できる。
2つめに相対象限として,横軸は基準とした集団の識別力パラメタ𝑎𝑗の平均 値で,縦軸は基準とした集団の境界値パラメタの平均の反数−𝑏𝑗の平均値で区切 ることを提案する。先に提案した絶対象限の場合,評価としては緩い区切りと なっており,ほとんどの項目が①重点維持項目や②維持項目に入り,③改善項
98
目や④関連改善項目に入る項目がほとんどなくなってしまい,改善のための反 省資料になりにくい。そこで, 基準とした集団のそれぞれの項目パラメタの平 均値で区切ることにより,必ず③や④の象限に入る項目が出てきて,改善のた めの反省に資するデータとなり得る。
象限の区切りについて,ここまでの議論をまとめたものが,図 7.23 である。
実際に活用する際には,絶対象限で明らかに課題のある項目を発見することが でき,相対象限で相対的に課題のある項目を発見することが可能になる。
図 7.23 IRT-CS 分析グラフの絶対象限,相対象限の区切り
ここまでに検討した表現で,H30(2018)年度 A高等学校生徒の IRT-CS 分 析グラフを図 7.24 に示す。絶対象限で見た場合,④関連改善項目はなく,項目 20 のみが③改善項目に入っており,大きな課題であると解釈できる。同じプロ ットを相対象限で区切って見ると,項目 5,8,16,17,18,20,21 は③改善項 目に,項目 1,3,14,15,19,24が④関連改善項目に入ってきており,これら も相対的な課題であると解釈できる。
99
図 7.24 IRT-CS 分析グラフ(H30(2018)年度 A 高等学校生徒)
また,IRT-CS比較グラフにおける集団間比較について考察する。まず,各集 団の独自項目についてである。この分析の大きな利点は,等化をしているため,
経年比較,集団比較において,一部異なる項目があっても,同じ尺度上で比較可 能であるという点である。具体的には,図7.25における比較対象集団のR1(2019)
年度 A高等学校生徒の独自項目[1],[2],[3]のような,基準集団の H30(2018)
年度 A 高等学校生徒ではアンケートで質問していなかった項目でも,基準集団 の尺度でいえばどの程度の評価になるかを認識できる。
次に,共通項目についてである。共通項目のパラメタは等化によって,本来,
ほぼ同じ数値になっているはずであるが,一部異なる数値になっている項目も ある。具体的には,図 7.25 の共通項目番号 2,5,7,11 のように年度間であま り位置が変わらなかった項目もあれば,共通項目番号 1,3,4,6,8,9,10,
12,13のように年度間で項目パラメタの位置が変動している項目もある。この
1 2
3 4
5 6
7
8 9
10
11
12 13
1514 16
17 18
19 20
21
22 23
24
-0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6
0.7 0.9 1.1 1.3 1.5 1.7 1.9
項目評価 (境界値パラメタの平均値の反数)
総合満足度θとの関連度
(識別力パラメタ)
相対象限での区切り 絶対象限での区切り
100
集団間のずれが有意な変動なのか,誤差の範囲の変動なのかについての検討を
7.4.7 で議論する。なお,各集団の IRT-CS 比較グラフは付録 Eに示す。
図 7.25 IRT-CS 比較グラフにおける集団間の変動。H30A 高校生徒と R1A 高校生徒デ
ータの比較。プロットは,()なしの番号が共通項目,()ありの番号が独自項目 。