第 6 章 新しいアルゴリズムの評価
第3節 使用する回答データ
シミュレーションで使用する回答データは，2種類である．一つは，純粋にアルゴリズムを 評価するためのアイテムバンクを作るために用いる．アイテムを正答数の多い順に左から 右に並べ，かつ，受験者を素点の高い順に上から下に並べた場合に1の部分が左上を頂 点にした直角二等辺三角形状になるガットマン尺度のような回答データ（図6.1参照）を使う．
このような回答データは現実には発生することは極めてまれである．これを
EXAMETRIKAで分析してアイテムのIRPと受験者のRMPを得て，潜在ランク理論に
基づくCATのモンテカルロシミュレーションに用いる．
なお，これらのアイテムがガットマン尺度に適合するということではなく，局所独立の制約 は成立していると仮定している．このような回答パターンにすることで一意に理想に近い特 性のIRPを持つアイテムバンクと理想に近い特性のRMPを持つ受験者集団のデータが 得られる．なお，Item02のExaminee09，Examinee10とItem09，Item10の
Examinee02で1,0が逆転しているのは，EXAMETRIKAで分析する際に全て正答，全
て誤答のアイテムや受験者が分析の対象外になるので，これを避けるために回答データ のパターンをあえて崩している．
回答データのサイズは，目標とするテストのサイズである50アイテム51名のほか，限界 を確認するため，ガットマン尺度のような回答パターンから生成した40アイテム41名，30 アイテム31名，20アイテム21名，10アイテム11名とした．一方，先行研究のKN-CAT と比較するため，項目応答理論が適用できる下限に近く，先行研究に近いサンプルサイズ のデータとして150アイテム151名を用意した．
ランク数は，2から5までとした．潜在ランク理論に基づくCATは，小さいサンプルデー タの場合，ランク数を小さくすることで推定するパラメータの数が少なくなり，SOMによるパ ラメータの推定が適切にでき，誤差や受験アイテム数が所期の範囲で動作するからであ る．
以上，理想に近い特性を持つアイテムバンクと受験者集団について述べた．150アイテ ムでランク数5のアイテムバンクをg150r5，50アイテムから10アイテムでランク数5のアイテ ムバンクをそれぞれg50r5，g40r5，g30r5，g20r5，g10r5と呼ぶ． g10r5のIRPをグラフ 化したものを例として図6.2に示す．単調増加制約，事後分布を一様分布として分析した．
図6.1 ガットマン尺度のような回答データの例：10アイテム11名の受験者の例
図6.2 g10r5のIRPのグラフ：EXAMETRIKAの分析結果
シミュレーションで使用する回答データのもう一方は，実地に行ったテストの回答データ である．使用したテストは「日本語を読むための語彙量テスト」（松下，2012）で、「日本語を 読むための語彙データベース」（松下，2003）の15,000語を使用頻度によって15レベルに 分け，それぞれのレベルの1,000語ごとに10語を語種のバランスを考慮して抽出し作成さ れた150アイテムからなるテストである．このテストを多様なレベル・背景の263名の学習者 が受験した．松下(2012)によれば，ラッシュ分析の結果、信頼できるテストであることが確認 されている（Rasch reliability estimate = .93）．その代表的なアイテムの内容とIRPを表 6.1に示す．表の右の列が問題文と選択肢で，左肩の番号は，ハイフンの左が15レベルに 分けたレベルで，ハイフンの右は各レベル10アイテムずつある同じレベルのアイテムの連 番になっている．右の列がEXAMETRIKAで分析したときに出力されるIRPのグラフであ る．左のアイテムの内容と右のIRPは番号とアイテムIDがずれているが，同じアイテムのも のである．レベルの低いアイテムは困難度が低く正答確率は1に近い．多くのアイテムのグ ラフが右肩上がりになっており，アイテムの識別力が高いことがわかる．
回答データのサイズは，理想に近い特性を持つアイテムバンクと受験者集団の場合と同 様に，目標とするテストのサイズである50アイテム50名のほか，限界を確認するため，素点 および正答数で並び替えた上でデータを間引いて生成した「日本語を読むための語彙量 テスト」のサブセットを50アイテム50名，40アイテム40名，30アイテム30名，20アイテム20 名，10アイテム10名とした．一方，先行研究のKN-CATと比較するため，項目応答理論が 適用できる下限に近く，先行研究に近いサンプルサイズのデータとして150アイテム150名
を用意した．ランク数も同様に，2から5までとした．150アイテムでランク数2のアイテムバン クをj150r2，50アイテムから10アイテムのアイテムバンクをそれぞれj50r2，j40r2，j30r2，
j20r2，j10r2と呼ぶ．j10r5のIRPをグラフ化したものを図6.3に示す．単調増加制約，事後 分布を一様分布として分析した．
図6.3 j10r5のIRPのグラフ：EXAMETRIKAの分析結果
表6.1 日本語を読むための語彙量テストのアイテムとIRP（ランク数5）
1-1 やる: これをやります。
1) 思おもいます
2) 食たべます
3) します
4) 見みます
2-1 今後: 今後はどうしますか。
1) いままで 2) 結けっきょく局 3) これから 4) 途とちゅう中
3-1 迷う: 彼かれは迷っている。
1) あきらめられないでいる 2) 決きめられないでいる 3) 眠ねむれないでいる 4) 目立め だたないでいる
4-1 修理: 彼かれがあれを修理した。
1) そろえた 2) 届と どけた 3) 直なおした 4) 破やぶった
5-1 情熱: あの人ひとは情熱的てきだ。
1) 意い欲よ くが不ふ足そ くしている 2) おとなしくてまじめだ 3) ちゅう注意い深ぶかい
4) 強つよく思おもう気き持もちがある
6-1 シーズン: 次つぎのシーズンが来くるの が楽たのしみだ。
1) あたら新しい友達とも だち 2) 季きせつ節、時じ期き 3) きょう教科か書し ょ 4) 自じぶん分の 順じゅんばん番
7-1 隣接: あの家いえは市し街がい地ちに隣接して いる。
1) ～から遠とおく離はなれている 2) ～のすぐ横よ こにある 3) ～のはずれにある 4) ～の真まん中なかにある
8-1 人目: 人目を気きにしないほうがい い。
1) 視しりょく力の低てい下か 2) 他たにん人の視し線せん 3) 人にん気きの程てい度ど 4) 眼めの病びょう気き
9-1 行き届く: 行き届いたサービスをお届と どけしま す。
1) 今いままでにはなかった
2) いろいろなことに気きを配く ばった 3) 誰だれも 考かんがえつかないような 4) 他ほかの人ひとにはできない
10-1 起点: このしるしは起点を 表あらわす。
1) しゅうりょう終了する時じ間かん 2) スタートする場ば所し ょ 3) チームの精せい神しん 4) 論ろん理り的てきな関かん係けい
11-1 飲み干す: 馬う まが水みずを飲み干した。
1) 少すこしだけ飲のんだ 2) 全然ぜんぜん飲のまなかった 3) 全部ぜ ん ぶ飲のんだ 4) 半分はんぶんだけ飲のんだ