8 学校評価分析ツール
8.4 IRT-CS 比較ツール
116
出」ボタンを押すことで算出される。Q3統計量は本来,局所独立性を確認する ための指標であるが,別の見方をすれば,「θ以外に項目間相関に寄与する要因 がある場合の相関」(加藤他,2014)とも言える。その要因の一つに,似た質問を 聞いてしまっている可能性も含まれる。Q3統計量だけでは判断できないが,実 際に質問項目を見て,似た質問項目で,同様の回答傾向であれば,次年度のアン ケートからどちらかの項目を除外する検討をする指標となりえる。
「操作 11(必要シートのみ別名保存)」ボタンを押すと,ここまでで作成した
IRT-CSグラフ,ヒストグラム,Q3統計量のシートのみ別名保存できる。
図 8.8 「Q3統計量」シート
117
集団での共通項目には共通の項目番号を入力する。それぞれの集団の独自項目 には,それぞれ独自の項目番号を入力する。この操作によって,共通項目が紐づ けられ,その後は,「操作マニュアル」シート(図 8.9)上のボタンを押すこと で,操作を進めていく。
図 8.9 IRT-CS 比較ツールの「操作マニュアル」シート
「操作 2(基準集団の項目パラメタ取り込み)」,「操作 3(基準集団の回答者
パラメタ取り込み)」,「操作 4(比較集団の項目パラメタ取り込み)」,「操作 5(比 較集団の回答者パラメタ取り込み)」,の各ボタンを押すことで,それぞれのフ ァイルが保存されたフォルダが自動で展開されるので,該当のファイルを選べ
ば IRT-CS比較ツール上に該当ファイルが自動で貼り付けられる。
ここまでの操作によって,IRT-CS比較グラフ,共通項目変動グラフ,総合満 足度θ(特性値θ)ヒストグラムは自動で生成されている。「IRT-CS 比較グラ
118
フ」シート(図 8.10)上でグラフの軸の微調整を行い,「共通項目変動」シート
(図 8.11)上でグラフの軸の微調整を行い,「ヒストグラム」シート(図 8.12)
上で,階級の幅を微調整する。
「IRT-CS比較グラフ」シート(図 8.10)は,比較集団の項目パラメタを基準 集団の尺度に Mean & Sigma 法で等化して,基準集団と比較集団の項目パラメ
タの IRT-CS グラフを描いたものである。共通項目については,変動が分かる
ように矢印でつないでおり,項目評価(境界値パラメタの平均の反数)が少しで も上昇していれば赤色の矢印,項目評価(境界値パラメタの平均の反数)が少し でも低下していれば青色の矢印で示している。併せて,基準集団の尺度で見た 相対象限(縦も横も,基準集団の項目パラメタの平均値区切り)と絶対象限(基 準集団における項目評価(境界値パラメタの平均の反数)=0,総合満足度θと の関連度(識別力)=1 区切り)で,各集団の各項目がどの象限に入るかを表で 示している。さらに,象限比較の表の比較集団において,共通項目の 項目評価
(境界値パラメタの平均の反数)が少しでも上昇していれば赤色の上向き三角
▲,少しでも低下していれば青色の下向き三角▼を付した。
図 8.10 「IRT-CS 比較グラフ」シート
「共通項目変動」シート(図 8.11)は,総合満足度との関連度(識別力),項 目評価(境界値パラメタの平均の反数),および各境界値パラメタの反数につい て,基準集団と比較集団 でどの程度変動があったかを示すグラフである。横軸
119
に基準集団の項目パラメタをとり,縦軸に比較集団の項目パラメタをとった散 布図であるため,45°の破線上にプロットがおおよそ乗っていれば,変動はな いと判断できる。一方,破線から左上に離れるほど各パラメタが上昇している ことを意味し,破線から右下に離れるほど各パラメタが低下していることを意 味する。この変動がどの程度破線から離れたら統計的に有意な変動(つまり DIF)
なのか,あるいは誤差の範囲の変動なのかは,本研究で明らかにはできなかっ たが,破線から大きく離れるほど DIFである可能性は高まるので,参考として このグラフを出力している。
図 8.11 「共通項目変動」シート
120
「ヒストグラム」シート(図 8.12)は,比較集団の項目パラメタを基準集団
の尺度に Mean & Sigma法で等化して,基準集団と比較集団の総合満足度θ(特
性値θ)のヒストグラムを描いたものである。基準集団と比較集団で,回答者全 体の総合満足度θ(特性値θ)の分布がどのように異なるのか概観するのに役 立つ。
図 8.12 IRT-CS 比較ツールの「ヒストグラム」シート
121