4.1 シミュレーション分析：垂直尺度化に適した標本サイズ
4.1.2 実験結果
（3）推定値の評価
推定された項目パラメタはRMSE (Root Mean Square Error) とDICC (Difference of ICC) の 指標を改良した指標を用いる。DICC は区分求積法と同じ要領で𝜃を適当な区間に限定し，
等間隔に分割して得た分点での，真値と推定値における正答確率のズレを平均するもので ある。また，DIFを判定する指標である指標K (熊谷, 2012) ではDICCおける分点ごとの 正答確率を，推定母集団分布で重み付けして評価している。この重み付けにより項目特性曲 線のズレを，母集団分布の確率密度が大きい部分を重く評価し，逆に母集団分布の密度が低 い部分は軽く評価することができる。この指標K の計算方法を参考に，今回はDICCの推 定 方 法 を 改 良 し た 指 標 を DICC-WP (Difference of ICC Weighted by estimated Population
distribution) と呼ぶこととする。なお，推定母集団分布の平均と標準偏差は学年ごとにRMSE
を計算した。
図 4.4 識別力のRMSE（CC）
図 4.5 困難度のRMSE（CC） 0.00
0.25 0.50 0.75 1.00 1.25
A1 A2 A3 B1 B2 B3 C1 C2 C3
condition
RMSE
condition
A1: 受検者数10,000 項目数15 A2: 受検者数10,000 項目数30 A3: 受検者数10,000 項目数60 B1: 受検者数1,000 項目数15 B2: 受検者数1,000 項目数30 B3: 受検者数1,000 項目数60 C1: 受検者数400 項目数15 C2: 受検者数400 項目数30 C3: 受検者数400 項目数60
0.0 0.5 1.0
A1 A2 A3 B1 B2 B3 C1 C2 C3
condition
RMSE
condition
A1: 受検者数10,000 項目数15 A2: 受検者数10,000 項目数30 A3: 受検者数10,000 項目数60 B1: 受検者数1,000 項目数15 B2: 受検者数1,000 項目数30 B3: 受検者数1,000 項目数60 C1: 受検者数400 項目数15 C2: 受検者数400 項目数30 C3: 受検者数400 項目数60
図 4.6 識別力のRMSE（SL）
図 4.7 困難度のRMSE（SL） 0.0
0.1 0.2 0.3
A1 A2 A3 B1 B2 B3 C1 C2 C3
condition
RMSE
condition
A1: 受検者数10,000 項目数15 A2: 受検者数10,000 項目数30 A3: 受検者数10,000 項目数60 B1: 受検者数1,000 項目数15 B2: 受検者数1,000 項目数30 B3: 受検者数1,000 項目数60 C1: 受検者数400 項目数15 C2: 受検者数400 項目数30 C3: 受検者数400 項目数60
0.0 0.3 0.6 0.9 1.2
A1 A2 A3 B1 B2 B3 C1 C2 C3
condition
RMSE
condition
A1: 受検者数10,000 項目数15 A2: 受検者数10,000 項目数30 A3: 受検者数10,000 項目数60 B1: 受検者数1,000 項目数15 B2: 受検者数1,000 項目数30 B3: 受検者数1,000 項目数60 C1: 受検者数400 項目数15 C2: 受検者数400 項目数30 C3: 受検者数400 項目数60
図 4.8 識別力のRMSE（calr）
図 4.9 困難度のRMSE（calr） 0.0
0.1 0.2 0.3
A1 A2 A3 B1 B2 B3 C1 C2 C3
condition
RMSE
condition
A1: 受検者数10,000 項目数15 A2: 受検者数10,000 項目数30 A3: 受検者数10,000 項目数60 B1: 受検者数1,000 項目数15 B2: 受検者数1,000 項目数30 B3: 受検者数1,000 項目数60 C1: 受検者数400 項目数15 C2: 受検者数400 項目数30 C3: 受検者数400 項目数60
0 1 2 3
A1 A2 A3 B1 B2 B3 C1 C2 C3
condition
RMSE
condition
A1: 受検者数10,000 項目数15 A2: 受検者数10,000 項目数30 A3: 受検者数10,000 項目数60 B1: 受検者数1,000 項目数15 B2: 受検者数1,000 項目数30 B3: 受検者数1,000 項目数60 C1: 受検者数400 項目数15 C2: 受検者数400 項目数30 C3: 受検者数400 項目数60
図 4.10 識別力のRMSE（ファセット，外れ値あり）
図 4.11 困難度のRMSE（ファセット，外れ値あり）
400 1000 10000
153060
calr CC SL calr CC SL calr CC SL
0.00 0.25 0.50 0.75 1.00 1.25
0.00 0.25 0.50 0.75 1.00 1.25
0.00 0.25 0.50 0.75 1.00 1.25
method
RMSE
method
calr CC SL
400 1000 10000
153060
calr CC SL calr CC SL calr CC SL
0 1 2 3
0 1 2 3
0 1 2 3
method
RMSE
method
calr CC SL
図 4.12 識別力のRMSE（ファセット，外れ値なし）
図 4.13 困難度のRMSE（ファセット，外れ値なし）
400 1000 10000
153060
calr CC SL calr CC SL calr CC SL
0.00 0.05 0.10 0.15 0.20 0.25
0.00 0.05 0.10 0.15 0.20 0.25
0.00 0.05 0.10 0.15 0.20 0.25
method
RMSE
method
calr CC SL
400 1000 10000
153060
calr CC SL calr CC SL calr CC SL
0.0 0.1 0.2 0.3 0.4 0.5
0.0 0.1 0.2 0.3 0.4 0.5
0.0 0.1 0.2 0.3 0.4 0.5
method
RMSE
method
calr CC SL
図 4.14 DICC-WPのバープロット（ファセット）
400 1000 10000
153060
calr con SL calr con SL calr con SL
0.00 0.01 0.02
0.00 0.01 0.02
0.00 0.01 0.02
method
DICC
method
calr CC SL
図 4.15 推定母集団分布の平均のRMSE
図 4.16 推定母集団分布の標準偏差のRMSE
400 1000 10000
153060
G1 G2 G3 G4 G5 G1 G2 G3 G4 G5 G1 G2 G3 G4 G5 -1.0
-0.5 0.0 0.5 1.0
-1.0 -0.5 0.0 0.5 1.0
-1.0 -0.5 0.0 0.5 1.0
grade
mean
method calr CC SL
400 1000 10000
153060
G1 G2 G3 G4 G5 G1 G2 G3 G4 G5 G1 G2 G3 G4 G5 0.8
1.0 1.2 1.4
0.8 1.0 1.2 1.4
0.8 1.0 1.2 1.4
grade
sd
method calr CC SL