数値実験

本節では，第4.2節で指摘した，従来手法が従属関係を誤検出する問題を，第4.3節で 提案したILS分析が解決できることを示す．このために人工データを作成し，それに対し てILS分析と従来手法を適用し，結果を比較する．

4.4.1 方法

10項目から成るテストを10,000人が受検した場合を想定し，第3.2.1節のベイジアン・

ネットワークIRTモデルを用いて反応データを発生させた．

項目の従属関係は，項目をランダムに3種類に分類し，(1)親項目を持たない，(2)前に 出題された中に親項目が一つある，(3)前に出題された中に親項目が二つある，のいずれ かであるとした．(1)に分類される確率は30%，(2)に分類される確率は50%，(3)に分類 される確率は20%とした．(2)および(3)の親項目は，当該項目より前に出題されたもの の中からランダムに選んだ．

項目の困難度は，親項目を持たない項目の場合には，以下の正規分布から発生させた．

b_i ∼ N(0, 1)

親項目を持つ項目の場合には，以下の正規分布に従う確率変数b_i′c，d_i′ を用いて困難度 を作成した．

b_i′c ∼ N(0, 0.25) d_i′ ∼ N(1.95, 0.01)

すべての親項目に正答したときの困難度はbi^′c−di^′とし，少なくとも一つの親項目に誤 答したときの困難度はb_i′c＋d_i′とした．項目の識別力は，以下の対数正規分布から発生さ せた．

log₂ai ∼ N(0, 1) また，受検者の能力θは標準正規分布から発生させた．

以上の手続きでテストデータ100セットを発生させた．項目数が10であるため，二項 目ずつの組み合わせの数は1セットあたり45組であるが，そのうち従属関係のある組み 合わせは平均7.86組であった．これらに，IRS分析，ファジィグラフ，ILS分析を適用し，

推定された項目構造を比較した．

IRS分析において，項目順序性係数r_ii^∗′の閾値は，結果の判読しやすいものを選んでよ いとされている．本論文では次の二種類の閾値で分析した．一つは，植野[37]の基準であ

る0.60653を採用した．もう一つは，第3.4.1節で定義した「評価用危険率」が5%になる

閾値を採用した．

ファジィグラフでは山下[46] の方法に加え，比較のために，式(4.3)のファジィ関連係 数の「評価用危険率」が5%になる点を求め，従属関係の有無の閾値とする分析も行った．

ILS分析の閾値も，CI検定で慣習的に用いられる 0.01 に加え，「評価用危険率」が5%に なる閾値でも分析した．

評価基準は次の二つとした．一方は，発生させたデータの二項目が局所独立にもかかわ らず，二項目間を従属関係ありと判定した割合（表4.2のB/(B+D)）を「誤検出」とし た．他方は，発生させたデータの二項目が局所従属にもかかわらず，二項目間に従属関係 なしと判定した割合（表4.2のC/(A+C)）を「検出漏れ」とした．

4.4.2 結果と考察

三つの手法の「誤検出」の割合は表4.3のようになった．ファジィグラフでは「従属関 係あり」「従属関係なし」に加え「従属関係はファジィ」という判定もあるため，局所独 立な項目間を「従属関係あり」とした割合の他，「従属関係あり」または「従属関係はファ ジィ」とした割合を括弧内に記した．一般的な閾値の場合，局所独立な項目間に対して，

IRS分析では4割以上，ファジィグラフで9割以上という高い割合で従属関係を誤検出し ていた．一方ILS分析の誤検出は6.6%にとどまった．

「検出漏れ」の割合は表4.4のようになった．一般的な閾値の場合，IRS分析が従属関 係を検出できなかったのは7.7%にとどまり，ファジィグラフではすべての従属関係を検出 した．一方ILS分析では検出できなかった従属関係が26.5%あった．

表4.2: 判定と真の状態の関係 真の状態

従属関係あり 従属関係なし 判定 従属関係あり A B

従属関係なし C D

表4.3: 従属関係の誤検出の割合 手法 誤検出（%） IRS分析（閾値= 0.607） 44.8

ファジィグラフ 97.0 (100.0) ILS分析（閾値= 0.01） 6.6

註: ファジィグラフの括弧内は「ファジィ」という判断を誤検出に含めた場合．

表4.4: 従属関係の検出漏れの割合（一般的な閾値の場合）

手法 検出漏れ（%） IRS分析（閾値= 0.607） 7.7

ファジィグラフ 0.0 (0.0) ILS分析（閾値= 0.01） 26.5

註: ファジィグラフの括弧内は「ファジィ」という判断を検出漏れに含めた場合．

誤検出および検出漏れの割合は閾値に依存しトレードオフの関係にある．そこで，誤検 出の割合が同等になるように，第3.4.1節で定義した「評価用危険率」が5%になる閾値を 用いて各手法を比較した（表4.5）．その結果，従来手法が従属関係の6割以上を検出でき なかったのに対し，ILS分析で検出できなかった従属関係は従来手法の半分以下であった．

したがって，誤検出の割合が同等である場合，ILS分析は従来手法より検出漏れが少ない といえる．

また，同じ閾値で，それぞれの手法が従属関係ありと判定した中で真に従属関係があっ たものの割合（表4.2のA/(A+B)）は表4.6のようになった．従来手法が検出した従属関 係の中で，真に従属関係のあるものは4割に満たない．つまり従来手法は，項目同士の直 接の従属関係と，能力潜在変数を介する擬似的な従属関係とを区別できないといえる．こ れに対し，ILS分析で検出した従属関係の7割以上が真に従属な関係であった．したがっ て，ILS分析は直接的な従属関係と擬似的な従属関係とを区別しているといえる．

このことより，提案手法であるILS分析は従来手法に比べて潜在的な従属関係をより適 切に推定することが示された．