• 検索結果がありません。

従来の項目構造分析における誤検出に関する理論的背景

ドキュメント内 テスト項目分析への応用 (ページ 50-54)

第 4 章 ILS 分析

4.2 従来の項目構造分析における誤検出に関する理論的背景

項目間の従属関係を可視化する代表的な手法に,IRS分析 [34],ファジィグラフによる 項目構造分析 [46] などがある.本節ではこれらの手法を紹介した上でその問題点を説明 する.

4.2.1 IRS分析

IRS分析とは,ある項目に正答することが別の項目に正答する前提となる関係を,有向 グラフとして表現し解析する手法である.IRS分析の手順は次のとおりである.

1. 任意の異なる二つの項目を抽出し,それらの間で項目順序性係数を計算する.

2. 項目順序性係数の値に基づき,二項目の関係が,等価関連,順序関連,独立のいず れであるかを判定する.

3. 従属関係のある項目を矢印で結ぶ.その際,間接的に矢印をたどって到達できる項 目間に直接の矢印が存在するとき,その直接の矢印は記入しない.

ここで,手順1.の項目順序性係数とは,ある項目に正答することが別の項目に正答する 前提になっているかどうかを表す指標である.たとえば,項目iと項目iへの反応の観測 度数がクロス表として表4.1のようであるとき,項目iから項目iへの項目順序性係数は 次の式で計算される.

rii = 1 N N01

(N01+N00) + (N11+N01) , (4.1) ただし,N は全受検者数,N01は項目iに誤答し項目iに正答した受検者数,N00は項目i にも項目iにも誤答した受検者数,N11は項目iにも項目iにも正答した受検者数である.

このriiがある一定の閾値以上になった場合,項目iから項目iへの順序性が成り立つ とする.閾値として,竹谷[34] は0.5を用いているが,結果を判読しやすくするために閾 値を変動させることにも言及している.また,植野 [37] は,rii を確率変数として考え,

その期待値から0.60653という閾値を導出している.

手順2.では,項目順序性係数の値をもとに,二項目間の関係を次のように定義する.rii

riiが同時に閾値より大きいとき,項目iと項目i は等価関連であるとする.rii は閾 値より大きいがriiは閾値以下であるとき,項目iから項目iへの順序関連があるとする.

riiriiが同時に閾値以下のときには,項目iと項目iは独立であるとする.

手順3.では,従属関係のある二項目を矢印で結ぶ.等価関連のある二項目は双方向の矢 印で結ぶ.項目iから項目iへの順序関連がある場合には,項目iから項目iへの矢印を 引く.独立である二項目は,矢印で結ばない.

このようにして項目間の従属関係を表現したグラフをIRSグラフという.

4.2.2 ファジィグラフによる項目構造分析

ファジィグラフとは,変数間の従属関係を表す有向グラフの一つで,変数間の従属性が あいまいな場合も表現可能であるという特徴がある.ファジィグラフによる項目構造分析 は,大きくは次の二つの手続きから成る.

I. 項目の類似性を分割樹形図で表現する.

II. 項目の従属関係の構造を近似三値グラフで表現する.

本論文が対象とする項目の構造化は主に手続きIIで行われるので,ここでは手続きIIの みを扱う.手続きIIの近似三値グラフは,次の手順で作成する.

2. ファジィ関連係数の値に基づき,ある項目から別の項目への従属関係が,ある,ほ とんどない,ファジィ,の三つの判断結果のうちのいずれかを判定する.

3. 従属関係のある項目を矢印で結ぶ.

手順1.のファジィ関連係数も,IRS分析の項目順序性係数と同様に,項目間の従属関係 を評価する指標である.項目iと項目iへの反応の観測度数が表4.1に従うとき,項目iと 項目iのファジィ関連係数fii は次の式で計算される.

fii = λ N11 N11+N01

+ (1−λ) N00 N01+N00

, (4.2)

ただし,λは0以上1以下の定数である.ここで,λ= (N00−N10)/(N00−N11)とすれ ば,式(4.2)はIRS分析の項目順序性係数になる.山下 [46] はλ = (N11N00)/[(N11

N01)+(N01N00)]とした,次のファジィ関連係数tii を用いている.

tii = N11+N00

(N11+N01) + (N01+N00) . (4.3) このtii を要素とする行列をファジィ関連構造行列と呼び,T ={tii }で表す.

手順2.では,ファジィ関連構造行列T の,値が1に近い要素を1,0に近い要素を0に 置き換えた,近似三値構造行列Tを作成する.その手順は次のとおりである.

2-1. |tii 0.5|を昇順にソートし,p(1), p(2),· · · とする.また,p(0)= 0とする.

2-2. 次の式でtpiiを求める.ただし,kの初期値は0とする.

tpii =







1 (tii >0.5 +p(k))

tpii (0.5−p(k)≤tii 0.5 +p(k)) 0 (tii <0.5−p(k))

.

2-3. 次の式で定義される距離d(p)を計算する.

d(p) = 2

m i=1

m i=1

|tii−tpii|

m2−m ,

ただしmは項目数である.

2-4. d(p)< εとなるまで,kに1を加えて手順2-2.に戻る1

2-5. d(p)< ε となった最小のp(k)に対するtpiiTの第i,i要素とする.

手順3.では,Tの第i,i要素の値に基づいて項目間に矢印を引く.Tの第i,i要素の 値が1のとき,項目iから項目iへ実線の矢印を引き「従属関係あり」とする.0のとき,

項目iから項目iへの矢印を引かず「従属関係なし」とする.それ以外のとき,項目iか ら項目iへ破線の矢印を引き,従属関係は「ファジィ」とする.

4.2.3 従来手法の問題点

IRS分析もファジィグラフによる項目構造分析も,二項目間の相関関係のみを評価して 構造化するが,テスト項目は受検者の能力潜在変数を所与として高い相関を持つため,項 目の持つ本来の構造とは異なる従属関係を検出してしまう可能性が高い.本節では,IRT モデルに従うデータにIRS分析およびファジィグラフによる項目構造分析を適用し,これ ら従来手法の問題を明らかにする.

項目への反応が2PLモデル[2] に従うとする.このとき,aibiをそれぞれ項目iの識 別力パラメータおよび困難度パラメータ,θを能力潜在変数とすると,項目iに正答する 確率,すなわちXiという確率変数が1という値になる確率は次のようにモデル化される.

P(Xi = 1|θ) = 1

1 + exp [1.7ai−bi)] . (4.4) 項目iに誤答する確率,すなわちXiという確率変数が0という値になる確率は,1から 式(4.4)のP(Xi= 1|θ)を引いたものである.

2PLモデルの下で,項目iと項目iの間のIRS分析の項目順序性係数riiは以下のよう に計算できる.

rii = 1 P01

(P00+P01)(P01+P11) , (4.5) ただし,

Pxixi′ =

+

−∞ P(Xi =xi|θ)P(Xi =xi|θ)p(θ)dθ

1εの値として,山下[46]ε= 2

3を用いている.

同様に,2PLモデルの下でのファジィ関連係数tii の値は,次のようになる.

tii = P11+P00

(P11+P01) + (P01+P00) . (4.6) 局所独立性が成り立ち,bi =bi = 0であるときの,aiを横軸に,式(4.5)および式(4.6) の値を縦軸にした様々なaiにおける結果は,それぞれ図4.1および図4.2のようになる.

項目iと項目iは受検者の能力を所与として条件付き独立であるため,この二項目間に 直接の従属関係はない.しかし,図4.1, 4.2より,項目の識別力パラメータが増加するほ ど,項目順序性係数およびファジィ関連係数も増加していき,従属性が検出されやすくなっ ていくことがわかる.IRTでは,識別力パラメータの値が大きいほど項目のテストとして の質は高いと考えられており,良い項目間ほど従属関係が誤検出されやすいことを示して いる.また,局所独立型のIRTはテスト項目として理想的なモデルを仮定しているが,実 際にはより複雑なモデル(たとえば [38])に従うことが知られており,この場合識別力パ ラメータが過大推定される [24].したがって,従来の項目構造分析の誤検出の割合はより 高まると考えられる.

ドキュメント内 テスト項目分析への応用 (ページ 50-54)

関連したドキュメント