3分 析 モ デ ル:一 般 化 可 能 性 理 論 3‑1一 般 化 可 能 性 理 論 の 概 略

主観 的評 定 にお け る評 定基準, 評 定者数,課 題 数 の効 果 につい て

一一 般 化 可 能 性 理 論 に よ る定 量 的研 究 一t)

平 井 洋 子

1研 究 の 背 景 と 目 的

教 育 や入 試 の現 場 で は,知 識 を確 認 す る だけ の設 問 や解 答 を選 ぶ だ け の設 問 を極 力減 ら し,記 述 式 で多様 な解 答 が あ りうる設 問 や思 考 力 を 問 う設 問 を増 や す 動 きが あ る。 ま たAO入 試 の導 入 に伴 い,そ の場 で 実験 や プ レゼ ン テー シ ョ ンを行 わせ る な ど,実 技 を重視 す る傾 向 も強 まって い る。 これ らの 産 出物(プ ロ ダ クシ ョンやパ フ ォーマ ンス)は,さ ま ざ まな認知 能 力 が複 雑 に絡 み合 い な が ら作 り出 され る。 そ こで 産 出物 を検 討 す れ ば,情 報 収 集 力,理 解力,統 合 ・ 構成 力,論 理性,分 析 的 思考,多 角 的 な思考 な ど,さ ま ざ まな能 力 が発揮 され た形 跡 をみ つ け られ る と考 え られ る。

プ ロ ダ クシ ョンやパ フ ォーマ ンス の採 点 は,基 本 的 に人 間 に よる主 観 的評 定 で行 われ る。 主 観 的評 定 で常 に指摘 され る の は,ど の 評 定者 にい つ採 点 された か に よっ て得 点 が変 動 す る とい う懸 念 で あ る。 た とえば全 体 的 に甘 い 評定 をす る評 定 者 や辛 い評 定 をす る評 定 者が い た場 合 や,あ る評 定 者 は特 定 の タイ プの 解 答 ・パ フ ォー マ ンス に高 い 得 点 をつ け るが 別 の評 定者 は別 の タイ プの解 答 ・ パ フ ォーマ ンス に高 い得 点 をつ けた りす る場 合 な ど,得 点 の値 や順位 が不 安定 に な る こ とが懸 念 され て い る 。

本論 文 で は,産 出物 の ひ とつ であ る論 述 式 の解 答 を取 り上 げ,そ の評 定 に お け る得 点 の不 安 定 要 因(変 動 因)を 一般 化 可 能性 理論 の枠 組 みか ら検 討 す る。

先行 研 究 の レビ ュー(平 井,2006)に よれ ば,論 述 課題 の評 定 にお い て得 点 を 不 安 定 にす る主 な要 因は解 答 者 ×課 題 の 交互 作 用 で あ り,評 定 者 が関 係 す る要 因 の影 響 は あ ま り大 き くな い。 た だ しそ れ は,よ く練 られ た評 定基 準 と適切 か つ十 分 な解 答 例 が提 供 され,評 定 トレー ニ ング も入念 に行 われ た場 合 に得 られ

た結 果 で あ る。 一般 の テ ス ト現 場 で は,こ の よ うな条件 が整 うこ とはあ ま り期 待 で きない。 そ こで本 論 文 で は,簡 素 な評 定 基準 と トレーニ ング を与 える こ と で,ど の程 度 の 評定 の 信頼 性 が 得 られ る か につ い て検 討 を行 う。具 体 的 に は,

トレーニ ング時 間 を ほぼ 一定 に保 っ た上 で評 定 基準 の詳 し さを変化 させ,評 定 基 準 の効 果 を調 べ る 。 また評 定 者 数 と課 題 数 の 効 果 に つい て も検 討 す る。

2方 法 2‑1デ ー タ 解 答者

東 京 と福 岡 にあ る公 立 大 学 と私 立大 学 各1校 にお い て,大 学1,2年 生 を対 象 に解 答 者 を募 り,271人 か ら有効 な解答 を得 た。 そ こか ら ラ ンダ ムに3人 分 の解 答 を抜 き出 して 評定 者 へ の説 明 と評 定 練 習 用 に用 い た ため,以 降 の分 析 は268 人 分 の デ ー タ に基 づ く。 文 系 ・理 系 と性 別 の 内訳 は 表1の とお りで あ る。

表1二解答者の内訳

男性 女性 計

文 系 理系

53 106

50 59

103 165

計

^{159 109 268人}

実 施

各 大学 に て一 斉 に大教 室 で 実 施 した 。

2‑2設 問

多 くの 資料 か ら情 報 を取 捨 選 択 して総 合 的 に判 断 し,考 え を述べ る形 式 の論 述 式課 題 を用 い た 。題 材 には,誰 に とって も身近 で,か つ 人 に よっ て意 見が さ ま ざま に分 かれ うる もの と して,「 自転 車」 を取 り上 げ た。 自転 車 に まつ わ る 資 料 は 薪 聞 記 事,統 計 資 料,書 籍,ホ ー ム ペ ー ジな ど多 様 な素 材 か ら集 め ら た 。各 資料 が 取 り上 げ る側面 や論 じる視点 は さ まざ まで あ る。 これ らをA4版25 ペ ー ジの資 料 集 に ま とめ,設 問 と と もに解 答 者 に渡 した 。解 答 者 は資 料 集 か ら 情 報 を取捨 選 択 し,関 連 す る と判断 した 箇所 を素早 く読 み取 り,自 分 な りの視

27 点 で ま とめ た り,発 想 を展 開 した り しな け れ ば な らな い。 資 料 集 を最 後 ま で

じっ く り読 む 時 間 は な い。

設 問 は,そ れ ぞ れ 異 な る タ イ プの 高 次 思 考 能 力 を意 図 した5問 が 設 け られ た。制 限 時 間 は設 問 ご とに区切 られ,全 体 で85分 で あ っ た。解 答 は所 定 の枠 内 に 自由記 述 で 書 き込 ませ た。 文 字 数 の 目安 や上 限 は設 け られ なか っ た。

本 論 文 で は,こ の うち設 問3と 設 問5の 解 答 を取 り上 げ る。 設 問3は,「 資料 5,資 料12,資 料15,資 料16を 参 考 に しなが ら,な ぜ 自転 車 をめ ぐる トラ ブ ル が減 らな いの か,自 分 な りに原 因 を考 え て述 べ な さい(制 限 時 間20分)。 」 と 問 う もので,自 由 な発 想 を求 め る ため に"ど の よ うな原 因 を考 え たか に よって 採 点 が 影響 され る こ とは あ りませ ん"と 注 をつ けた 。設 問5は,数 行 の文 章 を 読 ませ た 後 で 「① 自転 車 専用 道 や駐 輪 場 の整 備 は,自 転車 の利用 促 進 につ なが る と思 うか。 また,他 の どの よ うな条 件 が 整備 され る必 要 が あ る と思 うか 。 自 分 な りの 考 え を述べ な さい。 ② 自転 車 専 用 道,駐 輪 場,レ ンタサ イ クル の整 備 は,自 転 車 に よる交通 事 故 に どの よ うな影 響 を及 ぼ す と予 想 され るか 。 自分 な りの考 え を述 べ な さい。(制 限時 間 は 合 わせ て20分)」 と問 う もの で あ る。

この設 問 も 自由 な発想 を求 め る ため に,"① ,② と も,何 を予測 した か に よ っ て 採点 が影 響 され る こ とは あ りませ ん"と 注 をつ け た。

こ の2問 を分 析 に用 い た理 由 は,ま と ま った量 の文 章 を書 かせ た こ と,無 回 答 が少 なか った こ と,解 答 の内 容 や質 が 他 の設 問 と比 較 して個 人 差 が大 きか っ

た こ と,2問 に共 通 の 評 定項 目が 設 け られ た こ とで あ る。

2‑3評 定 評 定 内 容

本論 文 で は,以 下 の観 点 か ら採 点 した 計4変 数 を取 り上 げ る。

「分 析 的 視 点 」(設 問3,設 問5)

原 因 に関 す る議 論 の深 ま りや 精 緻 化 の程 度 につ い て の 評価 得 点 範 囲 は1点 か ら7点

「総 合 評 価」(設 問3,設 問5)

解 答 と して の質 を総 合 的 な 印 象 に基 づ い て評 定 す るholistic採点

得点 範 囲 は0点 か ら10点 評 定 の基 準

評 定 基 準 の 詳 し さの効 果 を検 討す る ため,3通 りの 詳 しさの評 定 基 準 を用 意 した 。

詳 しさA:評 価 すべ き側 面 に 関す る定義 文(数 行 程 度)と 得 点 範 囲 を与 え, 後 は 自分 で解 釈 して採 点 す る。

詳 し さB:詳 し さAの1青報 に加 え,得 点 ご とに到 達 す べ き内容 の 質 を述 べ た 説 明 文(scoringrubrics)を 与 え る。

詳 しさC:詳 し さBの 晴報 に加 え,一 部 の得 点 に該 当 す る解 答 例 を与 え る。

解 答例 に は,予 備 調 査 で得 られ た解 答 か らそ の得 点 を端 的 に表 し て い る と思 われ る もの を抜 き出 した 。

なお,詳 しさに差 を つ けた 評定 基準 は 「分析 的視 点」 のみ で あ る。 「総 合評 価 」 にお いて 測定 す べ き内容 にう い て詳 し く記 述 す る こ とは,holistic採点 の 主 旨 に反 す る か らで あ る 。実 際 に評 定 者 に与 え た評 定 基準 の例 を,付 録1と 付 録 2に 掲 げ る。

評 定者

評 定 者 は,東 京都 内 の国 公 立 大 学 で心 理 学 を専 攻 す る大 学 院 生(男 性3人, 女性6人)で,所 属 大 学 はX大 学7人,Y大 学1人,Z大 学1人 で あ った 。 この9人 を,詳 しさの異 なる3種 の評 定基 準 に,3人 ず つ くじで割 り当 て た。 そ の さい, バ ラ ンス を と るた め に,

・3群の そ れぞ れ に男性 が1人 ず つ 配置 され る

・Y大学 とZ大 学 の2人 は異 な る群 に配置 され る

とい う制 約 を設 け た。 以 下,A群,B群,C群 とい う呼 称 は,そ れぞ れ詳 しさ A,詳 しさB,詳 しさCの 各評 定 基準 に割 り当 て られ た評定 者 群 を指 す もの とす

る。

評 定 作 業

評 定作 業 は,個 々 の評 定 者 のペ ー ス で,場 所 を指定 せ ず に行 われ た 。 その さ

29 い,評 定 者 ど う しが互 い に採 点 につ い て話 題 にす る こ と,お よび他 の評 定 者 に 見 られ る場所 で行 うこ とが 禁 じ られ た。 結 果 的 に評 定作 業 は,評 定 者 の 自宅 や 大 学 の研 究 室 で 行 わ れ る こ とに な った 。

評 定 作 業 は,① 設 問3の 「総 合評 価 」,② 設 問5の 「総 合 評 価 」,③ 設問3の

「分 析 的視 点 」,④ 設 問5の 「分析 的視 点 」 の 順 に行 わ れ た2)。評定 者 へ の指 示 や トレー ニ ングは,群 ご とで は な く一 人 ひ と りの評 定 者 ご とに,コ ー デ ィネ ー ター との1対1で 進 め られ た。1つ の評 定 サ イク ル は以 下 の とお りで あ る。

aコ ー デ ィ ネー ター に よ る評 定 基準 の説 明 b評 定 者 が 採 点 基 準 を熟 読

c評 定 基 準 に 関 し,不 明 な 点 に つい ての 質 疑応 答 d解 答 例3人 分 を用 い た 評定 練 習

e再 度 の 質疑 応 答 に よ る疑 問点 の解 消 f評 定作 業(自 宅 そ の 他)

g口 頭 あ る い は メ モ に よ る評定 中 の感 想 や 気付 い た こ との 報 告

こ のサ イ クル を,4つ の 変数 につ い て繰 り返 した。 コー デ ィネ ー ター は全 体 を通 して 著 者i人 で 担 当 した。 評 定 基準 の説 明や 質 疑応 答 で は,群 内 で は 同 じ 説 明 が与 え られ る よ うに,群 間 で は そ の群 の 目的 が 徹 底 さ れ る よ う に配 慮 し た。 また評 定練 習 時 に は,コ ー デ ィネー ターの意 見 や 得点 の 目安 を与 え る こ と で評 定 者 に先 入観 を与 えな い よ う注 意 が 払 わ れ た。 「aコー デ ィネ ー ター に よ る評 定基 準 の説 明 」 か ら 「e疑問点 の 解消 」 まで,お よそ30分 を 費や した 。 所 要 時 間 に は群 に よ る系 統 的 な違 い は なか った。

3分 析 モ デ ル:一 般 化 可 能 性 理 論 3‑1一 般 化 可 能 性 理 論 の 概 略

古 典 的 テ ス ト理 論 で は,あ る 個 人 に 平 行 測 定 を 繰 り返 し た と き の 得 点 分 布

(標 本 分 布)を 考 え,そ の 期 待 値 を そ の 個 人 の"真 の 得 点truescore"と 考 え る

(LordandNovick,1968)。 あ る 測 定 で 得 ら れ た 観 測 得 点Xは,真 の 得 点Tと そ

こ か ら の 乖 離(測 定 誤 差E)か ら構 成 さ れ る 。 す な わ ち,

(1)

^X=T+E

で あ る 。 こ れ を 用 い て,信 頼 性 係 数 ρ2は,解 答 者 母 集 団 に お い て,真 の 得 点 の 分 散 が 得 点 の 分 散 に 占 め る 割 合,あ る い は 級 内 相 関 係 数 と して 以 下 の よ う に 定 義 さ れ る(LordandNovick,1968)。

(2)

2

2̲QT一 σ子

ρ 『毎 一

v2r・Q2E

古 典 的 テス ト理 論 で は,測 定 誤 差Eと して ラ ンダム に発 生 す る誤差 しかモ デ ル化 され ない 。 この理論 で想 定 され るの は,主 と して 項 目 と測定 タ イ ミングの サ ンプ リ ング に伴 う種 々 の ラ ンダ ム な誤 差 で あ る。 そ れ らが ひ と く く りに さ れ,「 測 定誤 差E」 と して扱 わ れ る。 あ る種 の ラ ンダム な誤 差 を分 離 し,別 個 の要 因 と して モ デ ル に組 み 入れ る こ とは で きない 。 また,体 系 的 に発 生す る測 定 誤 差 は標 本 分布 の期待 値 に組 み込 まれ る ため,「 真 の得 点 」 の一 部 とな り, こ れ も明 示 的 に分 離 して扱 う こ とが で きない 。

こ う した制 約 を克服 すべ く提 案 され た の が,一 般 化 可 能性 理論 で あ る。一 般 化可 能性 理 論 で は,い ろ い ろ な誤 差 の 要 因 を切 り分 けて,そ れ ぞ れ の大 き さを 評価 す る こ とが で きる。 そ して,ど の よ うな測定 誤 差 を考 慮 す る と どの程 度 の 得点 の信 頼 性(一 般 化 可 能 性)が 得 られ るか を解析 す る こ とが で きる 。

一 般 化可 能性 理 論 の適 用 は,大 き く分 け て一 般 化可 能性 研 究(generalizability study;G研 究)と 決 定 研 究(decisionstudy;D研 究)の2つ の ス テ ップで 行 われ る。G研 究 で は,分 散 分析 の枠 組 み を用 い て,得 点 の変 動 が どの よ うな 要 因 に よっ て どの程 度 もた ら され てい る かが検 討 され る 。 た とえ ば実 施 の タ イ ミング が異 なる こ とで得 点 は どの程 度不 安 定 にな るの か,課 題 が変 わ るこ とで得 点 は どの程度 変 わ るの か,評 定 者 が 交替 す る と得 点 は どの程 度変 動 す るの か,な ど で あ る。実 施 の タイ ミング,課 題 評 定者 とい う要 因 は,観 測得 点 を不安 定 に す る変動 因で あ る。 そ こで,そ れ ぞれ の 変動 因 ご とに分散 成 分 の大 き さを推 定 し,ど の変 動 因 の影 響 が大 きい の か を検討 す る。 通常 の分散 分析 が 要 因効 果 の

統 計 的 検 定 を 目 指 して い る の に 対 し,一 般 化 可 能 性 理 論 は,各 効 果 に 由 来 す る 分 散 の 大 き さ を 推 定 す る こ と を 目 指 し て い る 。 そ の た め 効 果 に 関 す る統 計 的 検 定 は 行 わ れ ず,推 定 さ れ た 分 散 成 分 が 全 体 の 何%を 占 め て い る か を も と に 記 述 的 な解 釈 が 行 わ れ る。 た と え ば 評 定 者 とい う 変 動 因 の 分 散 成 分 が 小 さ け れ ば, 当 該 の 測 定(得 点)は,ど の 評 定 者 に 採 点 さ れ て も 同 じ よ う な 得 点 が 与 え ら れ て い た こ と に な る 。 一 般 化 可 能 性 理 論 で は 各 変 動 因 が 変 量 効 果 と して 扱 わ れ る の で,こ の こ と は 実 際 の デ ー タ収 集 で 用 い ら れ た 評 定 者 だ け で は な く,評 定 者 の 母 集 団 に つ い て も外 挿 可 能 で あ る 。 す な わ ち こ の 得 点 は,評 定 者 の 母 集 団 に 対 して 一 般 化 可 能 性 が 高 い と い う こ と に な る 。

G研 究 の つ ぎ に行 わ れ る の がD研 究 で あ る 。D研 究 で は 推 定 さ れ た 分 散 成 分 の 大 き さ に 基 づ い て,い くつ の 項 目,何 人 の 評 定 者 を用 い る と測 定 の 標 準 誤 差 は ど う な る か,そ の と き の 得 点 の 信 頼 性 は ど の 程 度 に な る か,な ど が シ ミュ レ ー シ ョ ン さ れ る 。 そ の 結 果 は,現 実 的 な 制 約 を考 慮 しな が ら将 来 の 測 定 デ ザ イ ン を 組 み 立 て る と き の 基 礎 情 報 と な る 。

一 般 化 可 能 性 理 論 は ,方 法 論 的 に は 分 散 分 析 の 変 量 も し くは 混 合 モ デ ル で あ り,歴 史 的 に み る とFisher流 の 実 験 計 画 の 流 れ を 汲 ん で い る 。 しか し,こ れ を テ ス トの 信 頼 性 の 問 題 と して 体 系 化 した の はL.Cronbachら の 功 績 に よ る と こ ろ が 大 き い と い わ れ て い る(Brennan,2001;池 田,1994)¶ 。 古 典 的 な 文 献 と して は Cronbach,Gleser,Nanda,andRajaratnam(1972)が あ る ほ か,近 年 で はShavelson andWebb(199DやBrennan(2001)等 の テ キ ス ト も あ る 。

3‑2G研 究

G研 究 で は 各 変 動 因 の 効 果 の 大 き さが 推 定 さ れ る が,こ れ に は 同 時 にD研 究

で の シ ミ ュ レ ー シ ョ ン に必 要 な 分 散 成 分 を 推 定 す る と い う意 味 もあ る 。G研 究

で 複 雑 な 測 定 デ ザ イ ン(た と え ば ネ ス ト構 造 を 含 む デ ザ イ ン)を 用 い て し ま う

と,D研 究 の シ ミュ レ ー シ ョ ン で 扱 え る 測 定 デ ザ イ ン の 選 択 肢 が 限 ら れ て し ま

う。 そ こ でG研 究 で は,一 般 に 完 全 ク ロ ス ・デ ザ イ ン の よ う な 汎 用 性 の あ る デ

ザ イ ンが 好 ま れ て い る(CrockerandAlgina,1986)。

a.1つ の課 題 をr人の 評 定者 が採 点 した場 合 分 散 成 分 の推 定

こ こで は,p人 の 解 答 者 が 同 じ1つ の課 題 を受 け,そ れ をr人の評 定 者 が 採 点 す る場 合 を扱 う。 解 答者 と評 定者 は完全 に ク ロスす る。 こ こで評 定 者 と課 題 を 入 れ替 えれ ば,p人 の 解 答者 がr個の 課 題(項 目)を 受 け,そ れ を1人 の 評 定 者 が 採 点す るデ ザ イ ンに な り,古 典 的 テ ス ト理論 が 扱 うテ ス ト場 面 に一致 す る。

こ の こ とか ら,一 般 化 可 能 性 理 論 は古 典 的 テス ト理 論 を包 含 して い る とい え る。 ここ で扱 う 「1つの課 題 をr人の評 定者 が 採 点 す る デザ イ ン」 は,一 般 化 可 能 性 理論 に お い て も最 も シ ンプ ル で基 本 的 な デ ザ イ ンで あ る。

この デ ザ イ ンにお け る分 散 成 分 の 推定 は,分 散 分 析 の枠 組 み で い え ば1要 因 の 反復 測 定 デ ザ イ ンで行 わ れ る。 解答 者 と評定 者 は と もに変量 効 果 で あ る。 こ こで 評定 者 を固定 効 果 とす る と,G研 究 で用 い た評 定 者 しか評 定者 はあ りえ な い こ と に な り,評 定 者 の 母 集 団(一 般 化 可 能 性 理 論 で は"ユ ニ バ ー ス"と い う)に つ いて の 一般 化 が行 え な くな る。 また後 のD研 究 で,何 人 の評 定 者 を用 い る とどの程 度 の 信頼1生が 得 られ るか とい う検 討 を行 うため に も,た また ま こ のr人 の 評定 者 が 用 い られ た だ け で あ っ て,評 定 者 に な りえ た人 は他 に もい た

し,r人 に 限定 す る根 簗 もな い と考 えて お く必 要 が あ る。

表2に,こ の デ ザ イ ンに基 づ く分 散 分析 表 を示 す。 右 の2列 を除い て は,通 常 の 分 散分 析 表 と同 じで あ る。

表2:分 散 分 析 表

変動因

^MS

解 答 者PP‑1∬ ・!(p‑1)are,+rvP62Pσ 多1醜

評 定 者R・‑1SSRノ(・‑1)嬬+zPARσ 孟 σ孟ノz6To

残 差res(P‑1)(r‑i)∬ 螂 κP‑1)(r‑1)鴫Qzra鴫!z6Ta

To=弓+磧+(胤 こ こ で,あ る 人 の 解 答 を あ る1人 の 評 定 者 が 採 点 した 結 果 に よ る 得 点X3}の, 解 答 者,評 定 者 に わ た る 分 散 は,

(3)

κ=σ 拓=Up+6R+Gres ^{σ x̲2x̲zz}

33 と,各 効 果 の分 散 成 分 の和 に分 解 で き る(Brennan,2000,2001)。 この こ とか ら,各 分 散成 分 の 大 き さや そ の構 成比 をみ れ ば,そ の効 果 が得 点 の変 動 へ及 ぼ す影 響 の大 き さが 評価 で きる こ と に なる 。

解 答者 の分散 成 分26pは,解 答 者 の能 力(一 般 化可 能性 理 論 で は"ユ ニ バ ース 得 点"と 呼 ぶ)に お け る個 人 差 の大 き さを表 す 。一 般 の測 定 場 面 で は この個 人 差 を正 確 に取 り出 す こ とが 目的 に なる ので,z6pや そ の構 成比 が 大 きいほ ど解 答 者 の 能力 を良 く識 別 で きて い る こ とに な り,望 ま しい とい える。 評 定者 の分散 成 分26Rは,評 定 者 の 主 効 果 に対 応 す る分 散 成 分 で あ る。 これ は,あ る 評定 者 がp人 の解 答者 に与 えた 得 点 の平 均 が,評 定 者 ご とに どの程 度 異 な って い る か を意 味 す る。 た とえ ば全体 的 に甘 い採 点 を行 う評 定者 と辛 い採 点 を行 う評定 者 が混 在 してい た場 合,こ の分 散 成分 は大 き くなる 。逆 に,各 評 定者 のつ け た得 点 を評定 者 内 で平 均 偏差 に変 換 す る な ど して評定 者 平均 を 同 じ値 に揃 え れ ば, この 分 散 成 分26Rは ゼ ロ に な る。 た とえ評 定 者 の主 効 果 が 大 き くて も,各 評定 者 が 全解 答 者 を採 点 す る限 り,各 評 定 者 の"甘/辛 さ(leniency)"が どの 解答 者 に対 して も平 等 に働 くた め,ど の 評 定 者 の 得 点 で あ ろ う と順 位 は 同 じで あ る。 した が っ て,得 点」頂位 だ けが使 わ れ る場 合(た とえ ば上位50名 や上 位10%

を合 格 させ る とい った場 合)は,評 定 者 の 分散 成分z6Rは 大 き くて も問題 は な い。 一方,得 点 の絶 対値 その ものが 問 題 と され る場 合(た とえば80点 以 上取 っ た解 答者 を合 格 させ る と き)は,評 定 者 に よる"甘/辛 さ"の 違 いが 合 格/不合 格 に影 響 を与 え る こ と に な る。 この よ うな と きは,評 定 者 の分 散 成 分26Rは ゼ

ロ に近 い こ とが 望 ま しい 。 最後 に残 差 の分 散 成 分26

rcSであ るが,こ の成 分 には ラ ンダム な 測定 誤差 の ほか,こ の 測定 デザ イ ンで 取 り上 げ られ なか っ た体 系 的 な変 動 因 と,解 答者 と評 定者 の交 互作 用 とが含 まれ てい る。 この 測定 デザ イ ン で は これ らの変 動 因 を分割 す る こ とが で きない た め,ま とめ て残 差z6n.、と して 扱 わ れ る。 得 点 変動 の原 因が ラ ンダ ム な測定 誤差 にせ よ,分 析 デ ザ イ ンに含 ま れ ない 要 因 にせ よ,解 答 者 と評定 者 の交 互作 用 にせ よ,残 差 の 分散 成分 σ孟

Sは 解 答 者 の得 点順 位 を評定 者 間 で異 な らせ る働 きをす る。 したが っ て,得 点 の順 位 だ け が問 題 とな る場 合 も,得 点 の 絶対 値 が問題 とな る場合 も,どち らも残 差 の 分散 成 分z6rc、は小 さい方 が望 ま しい。

分 散 成 分 の推 定 は,MSの 期 待 値 を組 み 合 わせ る こ とで 行 わ れ る。 推 定値 を 求 め る式 は 以下 に な る。

(4)

(5)

(6)

6Zre、=ル 偲,器

62.R=(ルfSR‑Msres)/p

∂z̲P̲(ルfSP一 協 躍、)1r

また,各 効 果 の構 成比 はそ れ ぞ れ (7)

(g)

(9)

で 求 め ら れ る 。

δ島。!627。=∂庵!(∂多+62R+∂ 姦)

QzR!226po=6'R(∂ 多+8孟+δ ・ 島)

δ多1∂先=δ 多1(∂多+6餐+area)

一 般 化 可能 性 係 数

一 般 化 可 能性 係 数Eρ2(generalizabilitycoefficient;以下G係 数 と呼 ぶ)と は , 全 評 定 者 に わ た っ て平 均 した 得 点 に よ る解 答 者 の 順 位 づ け が,母 集 団(ユ ニ バ ー ス)に お け る得 点 の 順 位 付 け に どの 程 度 一 般 化 で きる か を表 す指 標 で あ る。 も し評 定 者 が入 れ替 わ って も得 点順 位 が 一貫 して い る な らば,評 定者 の 母 集 団 か ら どの よ うな評定 者 が 抽 出 され よ うと同 じ得 点順 位 が 得 られ るはず で あ る。G係 数 は,評 定 の 相対 順位 に 関す る一 貫 性(consistency)を 表 す 指 標 で あ る。G係 数 にお い て測 定誤 差 とみ な され るの は,得 点 の 順位 を乱 す 要 因 だ けで あ る。 そ の よ うな 要 因 は,こ の デ ザ イ ンで は 解 答者 ×評 定 者 の 交互 作 用,分 析 デザ イ ンに含 まれ ない 要 因,ラ ンダム な誤 差 で あ り,い ず れ も残 差 の分 散 成 分26rcSに含 まれ る。評 定 者 の主 効 果 で あ る一貫 した"甘/辛 さ"は 得 点 順位 を保 存す るた め,こ こで は誤 差 と して扱 われ な い。 一般 化 可 能性 理論 で は,得 点 の 相対 的 な順 位 づ けを乱 す誤 差 を相対 誤 差 と呼 ぶ 。相 対 誤 差 の分 散 成分 は,ま と め てz6Sで 表 され る。 これ を用 い る と,G係 数Eρ2は以下 の級 内 相 関係 数 の形 で

定 義 さ れ る 。

(10)

Ep2=ユ ニ バ ー ス 得 点 の 分 散 成 分.

ユ ニバ ー ス 得 点 の 分 散成 分+相 対 誤 差

2 P σ

Qp十 2‑2 〇"6

「1つの 課 題 をr人 の 評 定 者 が 採 点 す る デ ザ イ ン」 で は,zz6S=6r,,、/rと な る 。 rで 割 る の は,一 般 化 可 能 性 理 論 で は,合 計 点 で は な く平 均 値 で 考 え る た め で あ る 。 式(10)に お い て 課 題 と評 定 者 を 入 れ 替 え れ ば,G係 数 は 古 典 的 テ ス ト理 論 に お け る信 頼 性 係 数 の 定 義 式(2)に 一 致 し(Brennan,2000),個 の テ ス ト項 目

(課 題)の 平 均 値 に よ る信 頼 性 係 数 と な る 。

実 際 にG係 数 を 推 定 す る に は,式(10)に 各 分 散 成 分 の 推 定 値 を 代 入 す る 。 こ の 測 定 デ ザ イ ンで は,以 下 の よ う に な る 。

(11)げ ・。轟 〃亜 ず 一

信 頼 度 係 数

得 点 の 順 位 だ け で な く,得 点 の 絶 対 値 そ の もの が 問 題 と な る 場 合 の 得 点 の 信 頼 性 が,信 頼 度 係 数 φ(dependabilitycoefHcient4})で あ る 。 一 般 化 可 能 性 理 論 で は,得 点 の 値 そ の もの を 乱 す 要 因 と な る 誤 差 を 絶 対 誤 差 と呼 ぶ 。 こ の デ ザ イ ン で は,評 定 者 ご と の"甘/辛 さ"も 得 点 の 値 に 影 響 す る の で,残 差26 rc、 と 評 定 者z6Rが 絶 対 誤 差 と な る 。 絶 対 誤 差 の 分 散 成 分 は,ま とめ て260で 表 され る 。 信 頼 度 係 数 φ も ま た,次 式 の よ う に 級 内 相 関 係 数 の 形 で 定 義 さ れ る 。

(12) φ一̲i叢 縁 灘 轟 織 誤差6Z̲P6p+6e

こ こで,「1つ の 課 題 をr人 の評 定 者 が採 点 す る デザ イ ン」 で は

(13)

26Rfires 2̲2 σ

△=一 十 一

rr

と な る 。

信 頼度 係 数 φは,r人 の 評定 者 が つ けた 得点 の平 均 値 が どの程 度解 答 者 の真 の 得 点(ユ ニ バ ー ス得 点)に 一 致 す る か と い う,評 定 の 値 そ の もの の一 致 性 (agreement)を 表 して い る。 一 般 に絶 対 誤 差 ≧相 対誤 差 とい う関係 が あ る た め,信 頼 度係 数 はG係 数 よ り大 きな値 には な らな い。

測 定 の標 準 誤 差 は,相 対 誤 差 で は な く絶対 誤差 の平 方根 と して定 義 され る。

(14) SEM=6;

ここで絶 対 誤 差 が用 い られ るの は,観 測 得点 の分 散 の うち解 答 者 の真 の 能力 に 関 わ る変 動 は26pだけ で あ り,そ れ以 外 の変 動 因 はす べ て誤 差 と して得 点 に関 わ っ て くるた め で あ る。

b.個 の課 題 をr人の評 定 者 が採 点 した場 合 分 散 成 分 の推 定

こ の デザ イ ンは,分 散 分析 の枠 組 み で は2要 因 の 反復 測定 デザ イ ンで あ る。

前 節 と同様,こ こ で も解 答 者,課 題,評 定 者 の各 要因 が完 全 に クロ スす る デザ イ ンを考 え る。す なわ ち,p人 の 解答 者 がε個 の課 題 をす べ て受 け,そ れ をr人の 評 定 者 が す べ て採 点 す るデ ザ イ ンで あ る。

表3に,こ の デザ イ ン に基 づ く分 散 分 析 表 を示 す。

表3:分 散 分 析 表

変動因 盗 憾 の期待値 分散成分 構 成比

解答者P 課題T 評定者R 解 答者x課 題 解答者x評定者

課題x評定者 残差

∬p!(ρ 一1)σ 急、+'zQPzR+・ σ多.,+か σ多

ユ     ヱ

∬ 〆(t‑1)σ 螂+「 σκ+ρ σM+rpv・

  ヱ  

ユ

SSRI(r‑1)σ ・ 醐+∫ σ照+ρ σr・ ・+tpQ・

∬p.〆(ρ 一1)㈹6zns+YQp., z..̲z SSP.ガ(ρ4)(r‑1)fires+'σP斌

∬ τ.尺1('‑1)(r‑1)σ 2̲̲2 榔+Pσ7蝦

∬ 燗/(p‑1)(t‑1)(r‑1)62n、

v2P

6Zr

σ孟 σ多.T

zQ PxR 26 TxR 2G res

vZP!σ 蓋 。 σ多/σ 先

6ZR!σ 莞 。 σ多.,1σ 茎 。

z,̲zUp

.R!σ 距

σタ.。1σ景 。

σ鵡1σ 茎 。

2̲2.22.2̲2̲2z

σ

拓=σP+6T+6R+6PxT+6PzR+6TxR+Gres

各 分 散 成 分 の意 味 は,以 下 の よ うに な る。

・解 答 者z6 p,

・課 題z6 T

・評 定 者26 R

・解 答 者 × 課 題26 PxT

・解 答 者 × 評 定 者26 Px.

・課 題 × 評 定 者26 TxR

・残 差zE re5

解答 者 の 能力(ユ ニバ ー ス得 点)に お ける個 人 差 課題 の困 難 度 の 違 い

評定 者 ご との,一 貫 した"甘1辛 さ"の 違 い 課題 に対 す る 得 意1不得 意 パ ター ンの,解 答 者 間 で の違 い

解 答 者 につ け た得点 の大 小 の,評 定者 間で の違 い (解答 者 と評 定 者 との"相 性")

課 題 平 均 値 の 大小 の,評 定 者 間 で の違 い (課題 と評 定 者 との"相 性")

ラ ンダム な測 定 誤差,分 析 デザ イ ンに含 まれ ない 要 因,お よ び解 答 者 ×評 定 者 ×課 題 の 交互 作 用

分 散 成 分 の推 定 値 は以 下 の 式 に よっ て求 め られ る 。

(15)

(16)

(17)

(18)

(19)

(20)

(21)

62su=MS,e、

z6

TxR=(MSr.e‑Msres)/p

p,」t(MSPxR‑MSns)〃 20'

26

PxT=(MSP.ド ル6榔)/r

6Z‑R{(硲R‑MSS)一(MSPxR‑Msres)一(M̀STzR‑Ms res)}ゆ

̲(MSR‑MSP.R‑MST.R+M̀Sres)

δ多={(螂 ズ ル6榔)一(螂 諏;一 雌 榔)一(MSr x尺一Msres)}lrp (ル傷 一MSP.T‑MSTxR+。M∫2お)

rp

δ計{(MS。 一」 憾 螂)一(MS。.,rル   ∫榔)一(MS。.ズMS S)}ノ か (MSP一 ルfSp.T‑MSP.尺+ル6榔)

か

こ の デ ザ イ ンで は,あ る 人 の あ る 課 題 に お け る 解 答 に 対 し任 意 の1人 の 評 定 者 が 与 え た 観 測 得 点Xの,解 答 者,課 題,評 定 者 に わ た る 分 散 は,次 式 の よ う

に 各 効 果 の 分 散 成 分 の 和 に 分 解 さ れ る(Brennan,2000,2001)。

(22)

σ急 ・ σ莞。‑vZP・UZT・62R・x6PxT+σ 多沼+σ 子.・+σ 乙。

各 効 果 の 構 成 比 を 求 め る に は,式(7)か ら式(9)と 同 様 に し て,そ れ ぞ れ の 推 定 値 を用 い て 全 体 の 分 散 成 分26TH,に対 す る 比 を 求 め れ ば よ い 。

一 般 化 可能 性 係 数

一 般 化 可 能性 係 数Epzの 一般 式(10)に 基 づ い て考 え る。

62 UP+6a

本 デ ザ イ ン に お い て 得 点 の順 位 を 乱 す 要 因 と な る の は,解 答 者 × 課 題z6PxT, 解 答 者 × 評 定 者26Px、,お よ び 残 差Errsで あ る 。 課 題 と評 定 者 の 主 効 果 は,す べ て の 解 答 者 に 一 貫 し て働 く(同 じ大 き さ の"か さ 上 げ"が 行 わ れ る)た め,得 点 の 順 位 は 影 響 さ れ な い 。 また,課 題 ×評 定 者z6Tx、も,す べ て の 解 答 者 が す べ て の 課 題 を 受 け,す べ て の 評 定 者 か ら評 定 さ れ る 限 り,評 定 者 に わ た る 合 計 点 や 平 均 点 の 中 に は 課 題 × 評 定 者 の 交 互 作 用 の 和 が 入 る た め,得 点 順 位 へ の 影 響 は な く な る 。した が っ て,本 デ ザ イ ン に お け る 相 対 誤 差z6gは 以 下 の よ う に な る 。

(、 、)。22̲6PxT6.・2PxR+zfirest rtr

信 頼 度 係 数

信 頼 度 係 数 の 式 の 一般 式(12)に 基づ い て考 え る。

(・姻 φ・義

一 般 に

,絶 対 誤 差 に は 解 答 者 の 主 効 果26p以 外 の す べ て の 効 果 が 含 ま れ,相 対 誤 差 に は,残 差 の ほ か 解 答 者 を 含 む 交 互 作 用 効 果 が す べ て 含 ま れ る(Brennan , 2000;ShavelsonandWebb,1991)と い う 規 則 性 が あ る 。

本 デ ザ イ ン に お け る 絶 対 誤 差z60を 具 体 的 に 表 す と以 下 の よ う に な る 。

(24)

。ま.亟.屋.・zpx・+z6Px・+垂 ・+壷

'ア ∫7か か

3‑3D研 究

D研 究 は,将 来 の 測定 場 面 の た め の シ ミュ レー シ ョ ンを行 うス テ ップで あ る。 現 実 の測定 場 面 には金 銭 的,人 的,時 間 的 な コス トな どの さ まざ まな制 約 が あ り,そ れ らが 互 い に複 雑 に絡 み 合 っ てい る。 た とえ ば課 題 を増 や せ ば解 答 者 や評 定 者 の負 担 も増 え るか も知 れ な い。 評定 者 を増 やせ ば採 点 時 間 は短 縮 で きる か も知 れ ない が,評 定 者 間の す りあ わせ や,評 定 トレー ニ ン グの時 間 や ゴ ス トが か さむ こ とに な る。D研 究 で は,条 件 の組 合わせ を変化 させ なが らG係 数,信 頼 度 係 数,標 準誤 差 の動 きを シ ミュ レー シ ョン し,そ れ に よって 課題 を 増 や した方 が よいの か,評 定 者 を増 や した方 が よ いの か な ど につ いて ,信 頼性 の 点 か ら情 報 を提 供 す る 。

個 の 課 題 をr人の評 定 者 が 採 点 す る場 合,G係 数 の推 定 値 は以 下 の式 で与 え られ る。

(25)

2 Ep2=

^2

δ多 ・ σ…+

r

226 PxR+fires rtr

こ の 式 の6ZP,26P xT,Q;.k,喋,に,式(2D,(18),(17),(15)で 得 られ た 推 定 値 を

そ れ ぞ れ 代 入 す る 。 ま た,terの 値 に は,シ ミュ レ ー シ ョ ン し た い 課 題 数 と評

定 者 数 を そ れ ぞ れ 代 入 す る 。 た と え ば,将 来 同 様 な 課 題 を3つ 用 い て そ の 平 均

値 を 解 答 者 の 得 点 と し,得 点 の 上 位 か ら20%を 合 格 さ せ た い と 考 え て い た と す

る 。 こ の と き,必 要 な 測 定 精 度 を 確 保 す る に は 何 人 の 評 定 者 が 必 要 か を 知 る に

は,課 題 数 をt=3に 固 定 し,評 定 者 数 を1人 か ら た と え ば10人 まで 変 化 さ せ ,

そ れ ぞ れ の 場 合 に お け るG係 数 を 求 め れ ば よ い 。 も し最 低0 .75のG係 数 を 確 保 し

たい の な ら,G係 数 が0.75を越 え た と きの 人数 だ け評 定 者 を用 い れ ば よい とい う こ と に なる。

得 点 の絶 対 値 が 問 題 と な る場 合 は,信 頼 度 係 数 を用 い て 同様 に シ ミュ レー シ ョン を行 う。 信 頼 度 係数 の推 定 値 を

(26)φ..巣2。.、.、.、azP2.2.2

・ 多 ・

r・ 『弄 ・6PxTt+等R・ ㍗ ・Qres'

vP十vo

と して,各 分 散 成 分 の 推 定 値 に式(15)か ら式(21)で 得 ら れ た値 を 代 入 し,rやrを 適 宜 変 化 させ れ ば よ い 。

D研 究 は,G研 究 と異 な る 測 定 デ ザ イ ンで も可 能 で あ る 。 必 要 な 分 散 成 分 が 推 定 さ れ て い れ ば ど の よ う な 測 定 デ ザ イ ン を 用 い て も よ い 。 た と え ば こ の 場 合,課 題 ご と に 評 定 者 が 異 な る よ う な ネ ス ト構 造 も想 定 で き る 。 そ の と き は, そ の 測 定 デ ザ イ ン に 応 じ た 相 対 誤 差 と 絶 対 誤 差 の 推 定 値 を 求 め,式(10)や 式 ([2)に 代 入 す れ ば よ い 。 ま た,測 定 の 標 準 誤 差 に つ い て も 同 様 に シ ミ ュ レ ー

シ ョ ン を 行 う こ と が で き る 。 ・ こ れ ら に つ い て は,Brennan(2001),Crockerand Algina(1986),ShavelsonandWebb(1991)な ど が 詳 しい 。

4分 析1:記 述 統 計 量 結 果

表4か ら表7ま で,各 変数 の,群 ご と ・評 定 者 ご との 記述 統 計量 を示 す。 全 体 と して,群 内 で評 定 者 の平均 値 に散 らば りはあ るが,変 数 を また いだ 群 間で の 系 統 的 な違 い は み られ ない 。 またB群 とC群 とで,変 数 に よっ て は特 定 の 評定 者 の評 定 結 果 が片 寄 る(す なわ ち平均 値 が 最 小 も し くは最 大 で標 準偏 差 が 小 さ

い)傾 向 が あ る。 ただ しこれ らの統 計量 をみ た 限 りで は,根 本 的 な問 題 のあ る 評 定 を行 っ た者 はい ない とい え る。

表8か ら表11に,変 数 ご との 評定 者 間 の 積率 相 関係 数 を示 す。 表 ご と に主 な 特徴 をあ げ る と,表8で はC群 の評 定者 間相 関係 数 が,群 内 よ りも群 間 で高 くな る傾 向が ある 。 表9と 表10で は,C群 のraterlとrater3との 間で 相 関係 数 が か な り 低 くな って い る。 表llは,全 体 的 に一様 な相 関係 数 が得 られ てい るこ とが 指摘

41 で きる。

表12は,同 じ評定 者 が,同 じ観 点 か ら,同 じ解 答者 に よる異 なる設 問 へ の解 答 を評 価 した結 果 の設 問 間 の相 関係 数 で あ る。 異 な る設 問 とい って も,同 じ

「自転車 課 題」 に基 づ い て 自分 の考 えを述 べ る設 問 で あ る。 したが って設 問 間 の 相 関係 数 は 高 くな る こ とが 予 想 され た が ,表 に示 される よ うに相関係 数 は.171か ら.389と,あ ま り高 くは な い 。 「分 析 的 視 点 」 と 「総 合 評 価 」 とで は,ど ち らか とい うと 「総 合評 価」 の方 が相 関 係数 が 高 め に なる傾 向 が あ る。 群 に よる違 い は 明 らか で は ないが,し い てい え ばC群 の方 がA群 ,B群 よりも低 い 相 関係 数 に な る傾 向が あ る 。他 の評 定 者 との相 関係 数 が 低 め で あ っ たC群 の raterlもや や低 い傾 向が み られ るが ,こ こではそれほど顕著ではない。む しろA 群 のrater3の方 が相 関 係 数 は低 い とい え る。

表4=設 問3分 析 的 視 点:記 述 統 計 量

度数 最小値 最大値 平均値 標 準偏 差

raterl 268 1 7 4,090 1,349

A群

rater2 268 1 7 4,101 i.izz

rater3 268 1 7 3,354 i.zzo

raterl 268 i 4 2,534 .563

B群

ntef2 268 1 6 3,416 i.ios

rater3 268 1 6 2,776 1,305

raterl 268 i 7 2,168 .959

C群 rater2 268 i 7 2,007 1,155

rater3 268 1 7 3,243 1,455

表5:設 問5分 析 的 視 点:記 述 統 計 量

度数 最小値 最 大値 平均値 標 準偏 差

raterl 266 i 7 3,876 1,275

A群

rater2 267 i 7 4,082 1,170

rater3 267 1 6 3,378 1,105

nterl 261 1 4 2,383 .822

B群 rater2 267 1 7 3,464 1,248

rater3 267 i 6 2,985 1,223

raterl 267 i 7 1,536 .824

C群

rater2 267 1 7 3,648 1,639

rater3 267 1 7 3,075 1,535

表6:設 問3総 合評 価:記 述 統 計 量

度数 最小値 最大値 平均値 標 準偏差

raterl 268 0 10 5,049 2,214

A群

^{rater2 268 a 8 4,784 1,097}

rater3 268 1 10 5,619 1,226

raterl 268 z io 6,388 1,295

B群 ^{rater2 268 1 9 5,494 i.sio}

rater3 268 0 10 5,228 2,119

raterl 268 3 8 6,049 .826

C群 rater2 268 0 10 4,896 1,853

rater3 268 0 io 5:246 1:698

表7:設 問5総 合 評 価=記 述統 計 量

度数 最小値 最大値 平均値 標準偏差

raterl 266 0 10 5,139 1,962

A群

^{ratefl 267 1 7 4,341 1,000}

rater3 267 i 9 5,461 L728

raterl 267 i 10 5,588 1,380

B群 ^{rater2 267 1 9 5,610 1,357}

rater3 267 0 10 5,768 1,899

raterl 267 1 8 5,217 .957

C群

rater2 267 i 10 4,449 1,704

rater3 267 0 io 5,427 1,610

表8:

A群 B群

^C群

raterl rater2 rater3 raterl rater2 rater3 raterl ratefl rater3 raterl 1.00

A群

rater2 .501 i.00 rater3 .522 .546 i.00 raterl .499 .460 .454 i.00

B群

rater2 .549 .573 .504 .524 i.00 rater3 .443 .409 .457 .352 .504 i.00 raterl .397 .437 .365 .326 .413 .386 1.00

C群

rater2 .428 .427 .442 .332 .444 .416 .385 1.00

rater3 .451 .490 .483 .472 .476 .382 .301 .329 1.00

表9:設 問5分 析 的視 点:評 定者 間 の 相 関 係数

A群

B群

raterl rater2 rater3 raterl rater2 rater3 raterl rater2 rater3 raterl i.00

A群

rater2 .527 i.00

rater3 .458 .473 1.00 1

raterl .462 .478 .434 1.00

B群

rater2 .485 .555 .475 .473 i.00

rater3 .422 .531 .388 .430 .468 1.00 raterl .376 .442 .351 .376 .423 .348 1.00 C群 rater2 .474 .aaa .487 .588 .527 .354 .385 i.00

rater3 .260 .290 .371 .434 .384 .295 .173 .490 i.00

表10:設 問3総 合 評 価=評 定者 間の 相 関 係 数

A群

B群

C群

raterl rater2 rater3 raterl rater2 rater3 raterl ratefl rater3

A群

raterlrater2rater3 i.00

.373 .453

i.00 .4561:00 .355

.543 .473

.294.365 .594.554 .376.431 .294

.346 .401

.383.262 .589畳358 .276.394

B群 C群

ratedrater2rater31ratedrater2rater3

1.00 .363 .424

0 5 0 2 L 9 5

.353 .273 .324

.410 .606 .374

.308 .333 .397

i.00 .419 .154

0 0 0 3 L 2

i.00

表11:設 問5総 合 評 価:評 定者 間 の相 関係 数

A群 B群 C群

raterl rater2 rater3 raters rater2 rater3 raterl rater2 rater3 raters 1.00

A群

rater2 .504. i.00 rater3 .434 .538 i.00 raterl .377 .508 .602 1.00

B群

rater2 .553 .547 .362 .344 1.00 rater3 .483 .479 :414 .358 .470 1.00 raterl .380 .429 .312 .233 .381 .394 1.00

C群

rater2 .520 .660 .513 .456 .543 .475 .530 1.00

rater3 .427 .512 .418 .445 .435 .352 .411 .503 1.00

表12:

分析的視点

^{総 合 評価'} 設 問3一 設 問5 設 問3一 設 問5

raterl .314 .380

A群

ratefl .298 .313

rater3 .248 .in

raterl .182 .215

B群 ^{rater2 .zap 389}

rater3 .357 .301

raterl .273 .185

C群

rater2 .262 .320

rater3 .180 .296

考 察

ま ず 異 質 な 評 定 者 あ 存 在 で あ る が,全 体 的 に み る と,C群 のraterlの 標 準 偏 差 が 小 さ く,他 の 評 定 者 と の 相 関 係 数 も低 い 傾 向 が あ る 。 お そ ら く与 え ら れ た 評 価 基 準 に 自 分 な り の 解 釈 を 織 り込 み な が ら,保 守 的 な 基 準 適 用 の しか た を した の で あ ろ う。 た だ し こ の 評 定 者 もす べ て の 変 数 に お い て 低 い 相 関 を 示 した わ け で は な く,変 数 に よ っ て は 他 の 評 定 者 と 同 様 の レ ベ ル の 相 関 を 示 し て い る 。 特 定 の 変 数 に お い て,解 釈 や 適 用 の し か た に 違 い が 生 じ た も の と考 え ら れ る 。

ま た 評 定 者 間 の 相 関 係 数 か ら う か が え る 傾 向 と し て,す べ て 正 の 相 関 と な っ て い る こ と,.3台 か ら.5台 とい う 中 程 度 の 相 関 を 示 して い る こ と,群 内 で の 相 関 係 数 と 群 間 で の 相 関 係 数 に 変 数 を ま た い だ 系 統 的 な 違 い が み ら れ な い こ と, な ど が 指 摘 で き る 。 こ れ は,評 定 す べ き 内 容 が 各 群,各 評 定 者 に 同 程 度 に 理 解 さ れ て い た こ と を 示 唆 す る 。 す な わ ち,3群 に 共 通 し て 与 え た 概 念 定 義 は 同 じ よ う に 理 解 さ れ た が,評 定 基 準 や 解 答 見 本 を 追 加 した 効 果 は な か っ た とい う こ と が い え る 。 ま た,こ れ ら の 相 関 係 数 の 大 き さ は,バ ー モ ン ト州 の ポ ー トフ ォ リ オ 評 定 に お け る.56か ら.63(Koretz,Klein,McCafrey,andStecher,1993),小

学 生 の 理 科 の 実 験 実 演 の 評 定 に お け る.30か ら.91(Saner,Klein,Bell,andCom.

fort,1994)な ど の 結 果 と比 較 す る と,概 し て 低 い 。 特 定 の 評 定 者 が 特 定 の 変 数 に お い て 異 質 な 評 定 を 行 っ て い た 可 能 性 も合 わ せ て 考 え る と,30分 と い う ト

レ ー ニ ン グ 時 間 は,測 定 す べ き 内 容 を把 握 す る ぎ り ぎ りの 時 間 で あ っ て,評 定

基 準 通 りに 得 点 を 与 え ら れ る よ う に な る に は 不 十 分 で あ っ た と い う こ と で あ ろ

45 う。 言 い換 えれ ば,得 点 の高 低 を識 別 す る次 元 は把 握 させ る こ とが で きたが, そ の次元 上 の どの位 置 に どの 値 を割 り当 てれ ば よいか まで は徹 底 で きなか った とい え る。

一 方,評 定 者 内 で の項 目間相 関(表12)で あ るが,同 じ観点 か らの評 定 で あ りなが ら全 体 的 に値 が低 か った 。 そ の原 因 と して大 き く2つ の こ とが 考 え られ る。 ひ とつ は 評 定 者 ×課 題 の 交 互作 用 で あ り,設 問 が変 わ る こ とで そ の設 問 の 固有性 が過 度 に餅 酌 され,異 な る得 点 の与 え られ方 が された とい うもの であ る。 も うひ とつ は解答 者 ×課 題 の交 互作 用 で あ る。設 問 が変 わ るこ とで解 答 へ のモ チベ ーシ ョンや得 意/不得 意,時 間 配分 な どが 変 化 し,解 答の出来が変 わっ た こ とが 考 え られ る。 こ のい ず れか,も し くは両 方 の原 因が働 い てい た可 能性 が あ る。 た だ し表12に あ る.171か ら.389と い う値 は,異 な る評 定 者 との相 関 (表8か ら表11)よ りも低 い水準 であ る。9人 の評 定者 が 一 斉 に評 定者 内で の一 貫性 を下 げ た とは考 えに くい ことか ら,ど ち らか とい う と解 答 者 ×課 題 の 交互 作用 の方 が 影 響 が 大 きか っ た と推 察 され る。

5分 析2:評 定 基 準 と 評 定 者 数 の 効 果

本 節 で は,「1つ の 課 題 をr人 が 評 定 した 場 合 」 の モ デ ル に従 い,群 ご と,変 数 ご と に,評 定 者 の 分 散 成 分 の 大 き さ を 一 般 化 可 能 性 理 論 に よ っ て検 討 す る 。 本 デ ー タ で は,群 を 要 因 と し,評 定 者 が そ の 中 に ネ ス トさ れ る 構 造 で 分 析 す る こ と も可 能 で あ る 。 しか し群 に 関 して は,一 般 化 可 能 性 を 知 る よ り も群 間 の 比 較 を 行 う こ と が 本 論 文 の 主 旨 で あ る の で,こ の よ う な 分 析 方 法 と した 。

以 下,本 論 文 で は,G係 数 の 値 を 先 行 研 究 と比 較 し や す くす る た め,式(11) に お い てr=1と した と き のG係 数 をGb贈 係 数 と 呼 ぶ こ と に す る 。 課 題 数 もデ ザ イ ン に 組 み 込 ま れ た 場 合 は,式(23)に お い てr=c=1と お く。 主 な 先 行 研 究 で は,た と え ば カ リ フ ォ ル ニ ア州 の ア セ ス メ ン トプ ロ グ ラ ム に お け る 理 科 の 実 験 実 演 デ ー タ を 扱 っ たBrennan(1996,2000)で はGb 。 肥係 数 が.32,医 師 資 格 試 験 に お

け る 仮 想 患 者 へ の 対 応 デ ー タ を 扱 っ たClauser,Clyman,andSwanson(199g)と

Sanere[al.(1994)で は,そ れ ぞ れ.20か ら.22と,.34か ら.37と い う値 が 得 られ て

い る(平 井,2006)。

a,分 析 的視 点(設 問3) G研 究

表13か ら表15に,各 変動 因 の分 散 成 分推 定 値 と構 成 比 を示 す 。

評 定基 準 が 詳 し くな る ほ ど評定 結果 が揃 うこ とが予 想 され たヵ§,逆 に評 定者 の分 散成 分 は評 定 基 準 が詳 しくな るほ ど大 き くな り,そ の構成 比 も上昇 して い る。 また構 成 比 そ の もの を み て も,全 体 の10.6%か ら23.5%を 占 め る な ど,評 定 者 に よ る変 動 が 大 きい 。 この 値 は,先 行研 究 が 数%の 水 準 に留 まっ て い た

(平井,2006)こ と と比 較 す る とか な り大 きい。 この こ とか ら,詳 しい評 定基 準 を与 えれ ば 自動 的 に評 定 が揃 うわ け には い か ない とい う こ とが わ か る。 原 因 と して は,評 定 基 準 そ の もの が理 解 しに くか っ た こ と,評 定基 準 の 内容 が 不適 切 だ っ た こ と,そ して評 定 基準 を徹 底 させ る ため の トレー ニ ングが不 足 して い た こ とな どが考 え られ る。

表13か ら表15で は,い ず れ も残 差 の構 成比 が ほぼ半 分 を占め て い る。 残差 の 分 散成 分 には,解 答者 ×評定 者 の 交互 作用 だ けで な く,こ の分 析 デ ザ イ ンに含 まれ ない 要 因 の効 果 とラ ン ダム な測定 誤 差 が含 まれ る ため,こ の 結果 か ら直 ち に解答 者 ×評 定 者 の交 互 作用 が大 きか った と主 張 す る こ とはで きな い。 しか し

「同 じ群 内 で も得 点順 位 が評 定 者 ご とに異 な って い る」 とい う可 能性 は十分 に あ る とい え る。

表13:設 問3分 析 的 視 点:A群

変 動 因MS

person rater res

267 2 534

3.099 49.016 0.734

0.788 0.iso O.734

46.3 10.6 43.1 G鳳 係 数=.52

表14:設 問3分 析 的 視 点:B群

一

・person rater

res

267 z 534

1.954 55.702 0.643

0.437 0.aos O.643

34.0

16.0

50.0

Gnu係 数=。40

表15:設 問3分 析 的 視 点:C群

変 動 因MS

%

person267 rater2

res534

2.389 120.867 0.991

0.466 0.447 0.991

24.5 23.5 52.0 Gb蹴 係 数 誤.32

D研 究

こ こで は,評 定者 を何 人用 い る と どの 程度 の信頼 性 が 得 られ るか につ い て検 討 す る。

図1は,評 定 者 の数 を1人 か ら20人 に変 化 させ た と きの 一般 化可 能 性係 数(G 係 数)で あ る。 この値 は評 定 者 をテ ス ト項 目 と見 立 て た と きの項 目平 均 値 の α 係 数 に相 当 し,意 味 と して は解 答者 の 得 点順 位 が評 定 者 間 で どの 程度 一貫 して い るか とい う,得 点 の相対 的 な一致 度 と解釈 す る こ とが で きる。 縦 軸 の切 片 は G㎞ 係 数 で あ る。 分 析 の 結果,A群 の よ うに評 定 者 の分 散 成 分 が 大 き くな い群

で は,0.7程 度 のG係 数 を 確 保 す る た め に2人(こ の と き のG係 数 は.68),o.g程 度 確 保 す る た め に は4人(同 じ く.81)必 要 に な る こ とが わ か っ た 。 しか しC群 に な る と,0.7程 度 のG係 数 を確 保 す る た め に は5人(.70),o.s程 度 確 保 す る た め に は9人 (.81)も必 要 に な る 。 一 方G臨 係 数 を み る と,先 行 研 究 とあ ま り変 わ ら な い 水 準 と な っ て い る 。 こ れ は,Gbasc係 数 を 含 むG係 数 に は 相 対 誤 差 し か 関 わ ら な い こ と が 原 因 と考 え ら れ る 。 い ま の 場 合,相 対 誤 差 は 残 差 だ け な の で,残 差 と 解 答 者 の 分 散 成 分 の 相 対 的 な 大 小 関 係 でG係 数 が 決 ま る 。 た と え 評 定 者 の 分 散 成 分 が 大 き く て も影 響 しな い た め,こ の よ う な 結 果 に な っ た と 考 え ら れ る 。

図2は,同 じ デ ー タ に 基 づ い た 信 頼 度 係 数 を プ ロ ッ ト した も の で あ る 。 一 般 に信 頼 度 係 数 はG係 数 よ り小 さ く な る た め,0.8程 度 の 信 頼 度 を 得 る た め に は, A群 で5人(こ の と き の 信 頼 度 係 数 は.81)か らC群 で12人(同 じ く.80)も 評 定 者 が 必

要 と な る 。

i.o

8 倉0 4 2         ﹁ 般 化 可 能 性 係 数

0.0

1'35791113151719 評 定 者 数 図1:分 析 的 視 点(設 問3)のG係 数

i.o

o.s

信 頼0・6 度 係0 .4 数

o.a

o.o

一一据

一雫.響一 一一■ 噛 曹曹 一一 ■一 曽,一 一● 一● ●■一 一一 一● 一冒,

一一・ ●9

一 炉A群

一 群

+群

一一

1357911131S1719 評 定者 数 図2:分 析 的 視 点(設 問3)の 信 頼 度

b.総 合 評 価(設 問3)

総 合評 価 は,「 分析 的視 点 」 と異 な り,群 ご とに異 な る評 定基 準 を与 えた わ けで は な く,群 間の違 い は基 本的 に予 想 され て い ない。 しか し,評 定 者の セ ッ トが異 な るこ とに よる得 点 の不 安 定 さを示 す ため,お よ び 「分析 的視 点」 との 比 較 が で きる よう に,こ こ で も群 ご と に結 果 を示 す 。

G研 究

表16か ら表18に,各 変 動 因 の分 散 成 分 推 定値 と構 成 比 を示 す 。

まず評 定 者 の 分 散 成 分 で あ る が,構 成 比 が6.5%か ら12.8%と 小 さい こ とか ら,評 定 の"甘/辛 さ"の ば らつ きが比較 的小 さか った こ とが うか が え る。 しか し残差 の分散 成 分 が半 分 以 上 を 占め,解 答 者 ×評 定者 の交 互作 用 の存 在 が 疑 わ れ る こ とか ら,評 定 者 に よっ て得点 の順 位 が 入れ 替 わ っ てい る可 能性 は否定 で きな い。 こ の残 差 の分 散成 分 の構成 比 は,「 分 析 的視 点」 の よ う に評 価 す る側 面 を限 定 した場 合 と,ほ ぼ 同水 準 に あ る。 こ の こ とか ら,全 体 的 な印 象 で評 価 したか らとい って,特 に評 定 が 不安 定 にな っ た り,"好 き嫌 い"が 表 れ た りす る わ けで は ない,と い え る。

C群(表 且8)で は,解 答者 の分散 成 分 の構成 比 が19.7%と か な り小 さい 。 これ は,同 じ解 答 で あ りな が ら他 の群 の評 定 者 に比 べ 得 点差 が小 さか った とい うこ とで あ る。C群 の評 定 者 は,他 の群 とは異 な る側 面(し か も個 人差 の 小 さい) に着 目 して評 定 して いた か,た また ま得 点差 をつ け ない よ うに評定 してい た か の,ど ち らか の 可 能性 が 考 え られ る。 表6を み る と,C群 のraterlのつ け た得 点

49 の標 準 偏 差 は た しか に小 さい が,残 る2人 の評 定 者 の 標 準 偏 差 は小 さ くは な い。 一 方,表10で は,C群 のrater3は群 内 で やや 異質 な評定 を行 っ てい るが,群 間 で は異 質 とまで はい え な い。 この こ と だけ か ら断 定 は で きない が,C群 の評 定 者 は特 定 の 一 人が 異 質 とい う よ り,そ れ ぞれ が互 い に少 しず つ異 なる評 定 を 行 い,そ れが 相 殺 され る形 で 得 点 に差 が つ きに く くな っ た可 能 性 が 考 え られ

る。

表16:設 問3総 合評価:A群

変動因

螂 ・ 分 散 成 分

person267 rater2

res534

4.368 48.897 1.620

0.916 0.176 1.620

33.8 6.5 59.7 G㎞ 係 数=.36

表17:設 問3総 合 評 価:B群

一

^person267 _rater2

res534

5.184 98.897 1.632

1.184 0.363 1.632

37.2 11.4 51.3 Gnu係 数=.42

表18:設 問3総 合評 価:C群

一

^person267 _rater2

res534

3.387 93.621 L807

0.527 0.343 1.807

19.7 ia.8 67.5

Gnu係 数=.23 D研 究

図3と 図4に,「 総 合評 価(設 問3)」 にお け るG係 数 と信 頼度 係 数 の プ ロ ッ ト を示 す 。

上 で 述べ た よ う に,C群 は群 内 で の異 質性 が他 の群 と比 較 して 大 きい可 能性 が あ る。 そ の た め,C群 のみ がG係 数,信 頼度 係 数 と もに低 い結 果 とな った 。 ま た 「分 析 的視 点 」 と異 な りB群 が最 も高 くな った が,A群 との差 は僅 か で あ

り本 質 的 な 差 が あ る と まで は い え な い 。B群 で0.7程 度 のG係 数 を 得 る た め に は

4人(こ の と き のG係 数 は.74),0.8程 度 のG係 数 を 得 る た め に は6人(同 じ

く.81)の 評 定 者 が 必 要 で あ る が,C群 で は0.7程 度 で8人(.70),0.8程 度 のG係 数 を得 る た め に は14人(.80)の 評 定 者 が 必 要 と な る 。 信 頼 度 係 数 で い う と,B 群 で0.7程 度 の 信 頼 度 係 数 を 得 る た め に は4人(こ の と き の 信 頼 度 係 数 は.70), 0.8程 度 で は7人(同 じ く.81)の 評 定 者 が 必 要 で あ る が,C群 で は0.7程 度 で10人

(.71),0.8程 度 で は17人(.81)の 評 定 者 が 必 要 と な る 。

1.0

8 6 4 ﹂ 2 0 . 駄 軌 a 一 般 化 可 能 性 係 数

o.o

135T91113151719 評 定 者 数 図3:総 合 評 価(設 問3)のG係 数

1.0

o.a

信 頼0・6 度 係0 .4 数

0.2

0.0

■

一劇

L

→ 一 群 +群 一ロー 群

曹"響

135791113151719 評 定 者 数 図4=総 合 評 価(設 問3)の 信 頼 度

6分 析3:課 題 数 の 効 果

こ こ まで は評定 者 に焦 点 を当 て,群 内 での 一貫 性 ・一致 度 や群 間で の差 異 を 検 討 して きた 。 そ して望 ま しい水 準 の信 頼 性 を確 保 す る ため に は,何 人 の評定 者 が 必 要 に な るか をみ た。 本 節 で は課題 の方 に焦 点 を当 て,同 じ評価 観点 か ら 評 定 した場 合 で も異 なる設 問 に な る と どの よ うな影響 が あ るの か,望 ま しい信 頼 性 を確 保 す る に はい くつ の課 題 が必 要 に なる の か を検 討 す る。

「分析 的 視点 」 の評 定 基準 は,設 問3と 設 問5と で 表現 を調 整 しては い る もの の,実 質 的 に は同 じ内容 で あ る。 また 「総 合評 価」 の評 定 基 準 は2つ の 設 問 間 で 同 じ もの を用 いて い る。 そ こで,そ れぞ れ を同 じ測 定 内容 の異 なる課 題 とみ な し,「 個 の課 題 をr人の評 定 者 が採 点 した 場 合」 の一 般 化 可 能性 モ デ ル を適 用 して検 討 す る。

a.分 析 的 視 点(設 問3と 設 問5)

「分 析 的 視 点 」 に お け る記 述統 計 量 の結 果 か ら,設 問3(表4と 表8)で は,