公 平性 に対 す る測 定論 的 アプ ローチ の 歴 史 的展望

公 平性 に対 す る測 定論 的 アプ ローチ の 歴 史 的展望

一 選 抜 テ ス トに お け る マ イ ノ リ テ ィ の 低 得 点 を 背 景 に 一

平 井 洋 子

1問 題

本 論 文 で は 、 認 知 能 力 テ ス トに しば し ば 見 ら れ る マ イ ノ リ テ ィ の 低 得 点 を め ぐ り、 方 法 論 ・測 定 論 の 分 野 が 測 定 の 公 平 性 、 等 価 性 の 問 題 に ど の よ う に 取 り 組 ん で き た の か に つ い て 論 考 す る 。

マ イ ノ リ テ ィの 低 得 点 問 題 は 、 と く に ア メ リ カ の 採 用 ・選 抜 場 面 で 大 き な 社 会 問 題 と な っ て き た 。1960年 代 以 降 こ の 問 題 は 、 テ ス トの 受 験 者 や 実 施 者 だ け で な く、 裁 判 所 や 連 邦 ・地 方 議 会 、 労 働 行 政 、 教 育 行 政 、 ジ ャ ー ナ リズ ム な ど 多 方 面 が 関 わ る 議 論 と な り、 そ の 中 で 認 知 能 力 テ ス トの 公 平 性 が 厳 し く問 わ れ る こ と と な っ た 。 こ れ に対 し心 理 学 者 の 側 も 、 あ る場 合 は 裁 判 の 証 人 と して 、 あ る 場 合 は テ ス トの ガ イ ドラ イ ン(APA,1966;AERA,APA,&NCME,1974,

1985,&1999な ど)を 作 成 す る な ど し て 、こ の 問 題 に 精 力 的 に 取 り組 ん で き た 。 本 論 文 で は 、 こ う した ア メ リ カ で の議 論 や 低 得 点 改 善 の 努 力 を 、 歴 史 に 沿 い な が ら レ ビ ュ ー して い く。 論 文 中 に お け る 「マ イ ノ リ テ ィ」 と は 、 も との 研 究 で は 「黒 人and/or女 性 」 を 意 味 す る 場 合 が 大 多 数 で あ る 。 と は い え そ こ で 展 開 さ れ る 議 論 や 測 定 の 方 法 論 は 、 身 体 的 ・精 神 的 な ハ ン デ ィ キ ャ ッ プ を 負 っ た 人 々 や 文 化 的 ・言 語 的 に 異 な る 背 景 を持 っ た 人 々 に 対 して も、 広 く一 般 的 に 適 用 で き る も の で あ る 。 幸 い な こ と に 日本 で は 、 測 定 場 面 に お い て マ イ ノ リテ ィ の 問 題 は ま だ 大 き な 社 会 問 題 に な っ て い な い 。 し か し多 く の外 国 人 が 身 近 に住 む よ う な り 、 ま た ハ ン デ ィキ ャ ッ プ を負 う人 の 教 育 ・社 会 へ の 参 加 も確 実 に 広 ま りつ つ あ る 。 彼 ら の 能 力 や 業 績 を公 正 に 評 価 す る さ い に 、 ア メ リ カ に お け る 努 力 の 歴 史 は 大 い に 参 考 に な る と 思 わ れ る 。

2歴 史 的 な 背 景

2‑1集 団 式 標 準 テ ス トの 浸 透 期

集 団 式 標 準 テ ス トの 始 ま りは 、 第 一 次 世 界 大 戦 中 に ア メ リ カ 軍 の 新 兵 配 置 用 テ ス ト と し て 開 発 さ れ たArmyAlphaとArmyBetaと さ れ て い る(Gould,1996;

Rogers,1995)。 先 に 開 発 さ れ たAmlyAlphaは 、 一 般 的 な 知 的 能 力 を 測 る こ と を 目指 して い た 。 し か し検 査 の 説 明 や 設 問 が 英 語 で な さ れ た こ と 、 設 問 内 容 に 学 校 教 育 的 な 要 素 や ア メ リ カ社 会 で の 一 般 常 識 的 な 内 容 が 含 ま れ て い た こ と な ど に よ り、 こ の 時 期 大 量 に 移 入 して き た 非 英 語 圏 出 身 者 は 、 軒 並 み 低 い 得 点 を 示 し た 。 そ こ で 言 語 に 頼 らず に 検 査 を 進 行 で き るArmyBetaが 開 発 さ れ た の だ が 、Army ,Betaに お い て も高 得 点 を 得 る の は イ ギ リ ス ・オ ラ ン ダ 系 の 移 民 で 、 ロ シ ア 、 イ タ リ ア 、 ポ ー ラ ン ドな ど か らの 移 民 に は 低 得 点 者 が 多 か っ た 。 ま た 黒 人 は 白 人 よ り も 低 得 点 者 が 多 か っ た(Rogers,1995)。 こ れ ら の 平 均 値 差 は 民 族 や 人 種 の 生 得 的 ・遺 伝 的 な 要 因 に 帰 属 さ れ 、 テ ス ト内 容 や 実 施 手 続 き に 対 す る 疑 問 が 出 さ れ て も 、 そ れ が 真 剣 に 受 け 取 ら れ る こ と は な か っ た(Coleand Zieky,2001)o

ArmyAlphaとArmyBetaは 、 測 定 の 歴 史 か らす る と 、 集 団 式 標 準 テ ス トの 壮 大 な 実 験 だ っ た と い え る(平 井,2000)。 こ の テ ス トで175万 人 と もい わ れ る 大 量 デ ー タ を 手 に した 心 理 学 界 は 、 そ の 経 験 を も と に 効 率 の 良 い 集 団 式 の 客 観 テ ス ト を 次 々 と 開 発 し 、 教 育 現 場 や 人 事 テ ス トに 広 め て い っ た 。1960年 代 以 前 は 、 多 肢 選 択 式 を 中 心 と す る 客 観 式 標 準 テ ス トが 、 全 米 各 地 、 そ し て 世 界 各 地 に 、 と く に 疑 問 を 感 じ ら れ る こ と な く浸 透 し て い っ た 時 期 と い え る(Gould, 1996;Rogers,1995)0

2‑2公 民 権 運 動 と テ ス ト批 判

1960年 代 に 入 る と 、 公 民 権 運 動 が 活 発 に な る 。 こ の 運 動 の 中 で 雇 用 、 入 試 、 卒 業 認 定 、 特 殊 教 育 へ の 配 置 な ど に 用 い ら れ た 認 知 能 力 テ ス トが 批 判 の 的 と な っ た(ColeandMoss,1989;Willingham,1999)。 一 般 に こ う した テ ス トで は 、 黒 人 の 平 均 得 点 が 白 人 に 比 べ て 低 く な る 。 しか し テ ス ト内 容 や 実 施 手 続 き を よ く検 討 す る と 、 「正 解 」 や 「正 しい 反 応 」 は 、 学 校 や 家 庭 で の 教 育 や 白 人 社 会 の 一 般 常 識 を前 提 と し て 決 め ら れ た も の も 多 い こ とが わ か っ て き た 。 黒 人 は 経

済 的 に 困 窮 して い る こ と が 多 く、 白 人 に 比 べ 十 分 な 教 育 を 受 け られ な い 。 差 別 に よ る 白 人 社 会 か ら の 隔 離 も依 然 と して 残 っ て い る 。 テ ス ト得 点 が 低 い の は こ う し た 社 会 経 済 的 状 況 の た め で あ っ て 、 本 質 的 に 能 力 が 劣 る せ い で は な い 。 得 点 の 格 差 は 見 せ か け に す ぎず 、 そ う した テ ス トを 選 抜 に 用 い る の は差 別 を助 長 す る こ と に等 しい 、 と い うの が テ ス ト批 判 の 内 容 で あ っ た 。 こ の 時 期 は 、 テ ス トが 測 定 して い る 内 容 が 考 え ら れ て い た ほ ど 万 全 で は な い と い う 認 識 が 、 心 理 測 定 の 専 門 家 を 含 む 各 方 面 に 広 ま っ て い っ た 時 期 と い え る 。

そ の 後 、 女 性 権 利 運 動 の 台 頭 も あ り 、 不 公 平 な 測 定 の 問 題 は 、 裁 判 所 や 連 邦 ・地 方 議 会 、 労 働 行 政 、 教 育 行 政 、 ジ ャ ー ナ リ ズ ム な ど 、 多 方 面 に 及 ぶ 議 論 と な っ た 。 そ の 帰 結 の 一 部 が 、1964年 の 市 民 権 法 と そ れ に 続 く一 連 の 規 則 や 判 決 で あ ろ う。1964年 の 市 民 権 法 に は 、 「テ ス トは 公 平 で あ る こ と を 示 さ な け れ ば な ら な い 」 と い う法 的 義 務 が 盛 り込 ま れ た し 、1970年 の 雇 用 機 会 均 等 委 員 会 (EqualEmploymentOpportunityCommission;EEOC)の 規 則 で は 、 「保 護 対 象 の 集 団 に と っ て 不 利 な 得 点 差 が あ る 雇 用 テ ス トは 、 次 の2つ の 基 準 を 満 た す こ と を 示 さ な い 限 り、1964年 の 公 民 権 法 に 違 反 し て い る とみ な さ れ る 」 と定 め ら れ た(Willingham,1999)。

(a)そ の テ ス トが 妥 当 性 を 備 え て い る こ と

(b)同 等 の 妥 当 性 を 備 え 、 か つ 不 利 な 得 点 差 が よ り小 さい 測 定 方 法 が 他 に存 在 し な い こ と

雇 用 テ ス トに お け る 黒 人 差 別 が 最 初 に 法 廷 で 争 わ れ た の は 、Griggsvs.Duke PowerCo.訴 訟(1971年 、 連 邦 最 高 裁 判 所)と 思 わ れ る 。 こ の 判 決 で は 、 「差 別 的 に 機 能 す る テ ス トは 、 た と え 形 式 的 に 公 平 で も差 別 とみ な さ れ る 」 と い う 判 断 が 下 さ れ 、 雇 用 テ ス トは 特 定 業 務 に 必 要 な 知 識 や ス キ ル を 測 定 して い る こ とが デ ー タ で 裏 付 け られ て い る こ と が 重 要 で あ っ て 、 個 人 を 漠 然 と抽 象 的 に 測 る も の で あ っ て は な ら な い と さ れ た(Bersoff,且98D。 そ して 、 そ の 業 務 の た め に 妥 当 性 が 検 証 され た テ ス トで あ っ て も、 下 位 集 団 問 に 得 点 差 が あ れ ば使 用 が 制 限 さ れ る と い う決 定 が 下 っ た の で あ る(ColeandZieky,2001)。

教 育 の 分 野 は 、 雇 用 場 面 ほ ど差 別 の 問 題 が 先 鋭 化 し な か っ た(Willingham, 1999)。 入 学 試 験 に は 内 申 書 や 自 己 ア ピ ー ル な ど の 情 報 が 組 み 込 ま れ た し、 能

カ テ ス ト自 体 も複 数 の 科 目 で 実 施 され る な ど 、 多 面 的 な 測 定 が 行 わ れ る こ と が 多 か っ た か ら で あ る 。 そ の 点 、1つ の テ ス トで 合 否 が 決 め ら れ が ち で あ っ た 雇 用 テ ス トに 比 べ 、 不 公 平 さが 目 立 ち に くか っ た と い え る 。 教 育 の 分 野 で 訴 訟 に な っ た 例 と して は 、1979年 のLarryP.VS.Riles訴 訟 が 有 名 で あ る 。 こ の 訴 訟 で は 、 ス タ ン フ ォ ー ド ・ビ ネ ー 式 やWISC・Rと い っ た 定 評 の あ る知 能 検 査 を 特 殊 学 級 へ の 振 り分 け に 用 い る こ との 妥 当 性 が 問 わ れ た 。 こ う した 知 能 検 査 で は 、 黒 人 の 平 均 得 点 は 白 人 よ り も低 くな る 傾 向 が あ る 。 原 告 は 、 そ の よ う な検 査 に よ る コ ー ス 分 け は黒 人 に と っ て 不 公 平 で あ る と主 張 した 。 一 方 被 告 の カ リ フ ォ ル ニ ア 州 は 、 マ イ ノ リ テ ィの 低 得 点 は 社 会 経 済 的 状 況 に よ る も の で 、 特 殊 教 育 は そ う した ハ ン デ ィ キ ャ ップ を 埋 め る た め の 個 別 教 育 を行 う機 会 に な る と 反 論 した 。 しか し裁 判 所 は そ れ を退 け 、 今 後 カ リ フ ォ ル ニ ア 州 が 知 能 テ ス トを コ ー ス 分 け に 用 い る た め に は 、 以 下 の 条 件 を 満 た す こ と が 必 要 だ と し た(Bersoff, igai)o

(a)異 な る 生 徒 群 に 実 施 し て も 同 じ得 点 パ タ ー ン と な る こ と

(b)標 準 化 サ ン プ ル に 含 ま れ る 下 位 集 団 は み な 、 ほ ぼ 同 じ平 均 値 を 示 す こ と (c)知 能 テ ス トの 得 点 は 、 そ の 後 の 学 業 成 績 な どの 重 要 な 基 準 変 数 と相 関 す る こ と(つ ま り黒 人 生 徒 の 知 能 テ ス ト得 点 と学 業 成 績 と は 、 相 関 し な け れ ば な ら な い と い う こ と)

こ の 決 定 に よ れ ば 、 事 実 上 知 能 テ ス トは使 え な い こ と に な る 。 一 方 、 同 様 の 訴 訟 で そ の9ヵ 月 後 に 判 決 が 出 た1980年 のPASE:Paren[sinActiononSpecialEdu‑

cationvs.Hannon訴 訟 で は 、LarryP.vsRiles訴 訟 と異 な り統 計 的 な 判 断 基 準 は 一 切 退 け られ 、 も っ ぱ ら知 能 テ ス トの 設 問 内 容 に偏 りが あ る か ど う か が 検 討 され た 。 そ して 、 ス タ ン フ ォ ー ド ・ビ ネ ー 式 やWISC‑Rの い くつ か の 設 問 に不 公 平 な 内 容 が 見 ら れ る もの の 、 他 の 必 要 と さ れ る 情 報 と組 み 合 わ せ て 判 断 さ れ る な ら差 別 に あ た ら な い 、 と判 断 さ れ た(Bersoff,1981)。

こ の よ う にPASE訴 訟 で は 、 知 能 検 査 の 使 用 可 否 につ い てLarryP.訴 訟 と 逆 の 判 断 が 下 さ れ た こ と に な る 。 「何 が 公 平 か 」 と い う判 断 が 、 立 場 に よ り、 ま た テ ス トの ど の 側 面 に着 目 す る か に よ っ て 異 な り う る こ と を端 的 に 示 し て い る と い え る 。

2‑3"公 平 さ"に つ い て の 試 行 錯 誤

こ の 時 期 、 心 理 測 定 の 研 究 者 の 間 で もテ ス トが 内 包 す る バ イ ア ス(=下 位 集 団 に よ り、 テ ス ト得 点 に 系 統 的 な 有 利 ・不 利 が 生 じ る こ と)に 対 す る 関 心 が 高 ま り、 大 き く2つ の 方 向 で 研 究 が 行 わ れ て い る 。1つ は 公 平 な採 用 基 準 を い か に して 定 め る か で 、 公 平 な 測 定 の モ デ ル と得 点 調 整 の 方 法 に 関 す る研 究 で あ る 。 も う ひ と つ の 方 向 は 、 テ ス ト項 目が 包 含 す る バ イ ア ス を い か に して 検 出 す る か で あ り 、 差 異 的 項 目機 能(DIF;DifferentialItemFunctioning)の 研 究 で あ る 。

(そ れ ぞ れ の 方 法 論 的 な詳 細 は3節 、4節 、5節 で ふ れ る)。

公 平 な 測 定 モ デ ル の 探 索 で は 、 選 抜 テ ス トか ら 合 格 後 の 業 績 を予 測 す る 回 帰 直 線 を用 い た モ デ ル 化 が 主 流 で あ っ た 。 こ の モ デ ル に よ る と、 マ ジ ョ リ テ ィ と マ イ ノ リ テ ィ を 区 別 し な い 回 帰 直 線 を 用 い る と 、 マ イ ノ リ テ ィの 業 績 が 実 際 よ り高 め に 予 測 さ れ る と い う意 外 な 結 果 が 得 ら れ る(Linn,1994)。 こ れ は 、 共 通 の 合 否 基 準 を用 い る 限 り 、 少 な く と もマ イ ノ リ テ ィ に 不 利 に な る こ と は な い とい う こ と を 意 味 す る 。 し か し一 方 で は 、 マ イ ノ リ テ ィ の 平 均 得 点 が マ ジ ョ リ テ ィ よ り低 い と い う事 実 も相 変 わ らず 存 在 す る 。4‑2節 で 述 べ る よ う に 、 系 統 的 な 不 利 が ま っ た く な い テ ス トで も 、 平 均 得 点 の 異 な る 下 位 集 団 が 存 在 す る と き に は 、 誤 っ て 不 合 格 に な る 人 の 割 合 が 得 点 の 低 い 集 団 で 多 く な る(Camilli andShepard,1994;Willingham,1999な ど)。 こ れ は 、 測 定 が 完 全 で な い た め に 生 じ る 純 粋 に 統 計 的 な ア ー テ ィ フ ァ ク トで あ る が 、 マ イ ノ リ テ ィ に と っ て は不 利 な 状 態 に 感 じ ら れ る も の で あ る 。 こ の よ う に 同 じ デ ー タ で も 「不 利 は な い 」

「不 利 で あ る 」 と解 釈 が 分 か れ る が 、 そ れ は そ れ ぞ れ の 背 後 に あ る 公 平 性 につ い て の 考 え 方 が 異 な る こ と に 起 因 す る 。 完 全 に誤 差 の な い 測 定 が 存 在 し な い 以 上 、 そ し て 立 場 に よ っ て 求 め る"公 平 さ"が 異 な る 以 上 、 万 人 に と っ て公 平 な 合 否 基 準 は 作 れ な い とい う意 見 が 心 理 学 の 世 界 に 広 ま っ た の も 当 然 と い え ば 当 然 で あ っ た 。1989年 、 政 府 機 関 へ の 新 規 採 用 者 配 置 に 限 定 して で は あ る が 、

「下 位 集 団 別 に 得 点 を標 準 化 し、 標 準 得 点 の 上 か ら 合 格 させ て い く こ と」 と い う 勧 告 がNationalResearchCouncilか ら 出 さ れ た 。 こ れ も 、 下 位 集 団 ご と の 得 点 分 布 の 違 い を調 整 して 統 一 的 な 合 否 基 準 を定 め る こ と は 難 しい と い う認 識 か ら 出 さ れ た も の と い え る 。

と こ ろ が 、NRCが 提 唱 し た 方 式 は か え っ て 差 別 を 固 定 化 す る と い う 批 判 が 一 部 で 起 こ り 、 反 対 派 の 活 発 な ロ ビ ー 活 動 に よ っ て 、1991年 の 市 民 権 法 に は 逆 の 方 向 の 規 定 が 盛 り込 ま れ る こ と に な る 。 す な わ ち 、 「い か な る 形 態 で あ ろ う と、 人 種 、 肌 の 色 、 宗 教 、 性 、 国 籍 ル ー ツ に も と つ い た 得 点 調 整 を行 っ て は な らな い 」 と い う規 定 で あ る(Willingham,1999)。 こ れ は 「ど の 下 位 集 団 に 属 し て い る か に か か わ ら ず 同 じ扱 い を す る」 こ と を命 ず る もの で 、 こ の 規 定 に よ っ て 、 マ イ ノ リ テ ィの 得 点 に 手 を 加 え た り底 上 げ し た りす る こ と 、 た と え ば 「下 位 集 団 ご と の 標 準 化 」 や 「合 格 枠 の 下 位 集 団 別 割 り当 て 」 と い っ た 方 法 は 使 え

な い こ と に な っ た 。

マ イ ノ リ テ ィ の 能 力 評 価 は 、 何 が 公 平 で 何 が 公 平 で な い か と い う 価 値 観 を 含 む 議 論 で あ り、 科 学 的 な 根 拠 だ け で は 解 決 し な い 複 雑 な 問 題 で あ る。 そ こ に 司 法 判 断 、 議 会 や 各 種 団 体 の 発 す る規 制 と ガ イ ドラ イ ン、 ジ ャ ー ナ リ ズ ム な ど が さ ら に 複 雑 に絡 ん で い っ た の が ア メ リ カ の 事 情 と い え る 。 そ の 中 で 測 定 の 研 究 者 た ち は 、 ど の よ う に 問 題 を切 り取 り、 どの よ う な 対 策 を 打 ち 出 し て い っ た の だ ろ うか 。

3公 平 性 とバ イ ア ス:概 念 整 理

3‑1価 値 判断 を伴 う公 平 性 、統 計 的 な概 念 と しての バ イ ア ス

公 平 性fairnessの判 断 は 、平 等 性equity、正 義jusεiceなど と深 く結 び つ い て お り、測 定 の道 具(=テ ス ト)だ けで な く、実 施手 続 き、採 点 手 続 き、 テス トの 帰結(た と え ば合 否)な ど、測 定 の プ ロセ ス 全体 が判 断 の 対 象 とな る。

具体 的 な例 で 考 え よ う。 た と え ば 、高 校Aと 高校Bは 普 段 の学 力 テス トで は 平 均 値 差 が ほ と ん どな か っ たが 、 あ る統 一 学力 テ ス トで 高校Aの 方 が 平均 点 が 高 か った とす る。 この 事 実 に対 し、高 校Aの 教 師が 頑 張 った か ら高校Aの 生 徒 の学 力 が上 が った とい う解 釈 と、何 らか の理 由で 高校Aに とっ て有 利 なテ ス ト 内容 に な って い た とい う解釈 の両 方 が成 り立 つ。 前 者 は 「測 定 すべ き能力 を正 確 に反映 した結 果 、得 点 差 が生 じた」 とみ なす ので 、 テ ス トは適 正 に機 能 した とい え る。 そ れで も、 「した が って こ のテ ス トは公平 で あ る」 とい う意見 と、

「高 校Aの 方 が 良 い教 育 を受 け られ た の だ か ら高校Bの 生 徒 が 不 利 だ った 」 と

い う意見 が 生 じ うる。 一方 、後 者 は本 来 の測 定 目的で ない部 分 で有 利 ・不 利 が 生 じたの で 、 テ ス トが不 公 平 に機 能 した こ とにな る。 ただ しそ の不 公 平 さの理 由 と して は、 「高校Aの 授 業 で た また ま よ く似 た 素材 を取 り上 げ た か ら」 、

「高 校Aで 解 答 テ ク ニ ック を教 え た か ら」 、 「高 校Aで 試 験 時 間 が 守 られ な か っ たか ら」 、 「高 校Aの 答 案 の採 点 者 が 甘 い採 点 を行 っ た か ら」 、 な どさ ま ざ ま な理 由づ け が考 え られ 、 それ に対 応 して それ ぞ れ異 な る不 公 平 さが生 み 出 され る こ とに な る。

も うひ とつ 、WillinghamandCole(1997)に あ げ られ た例 を もと に考 え よ う (表1)。 こ の表 は 、NELSとNAEPと い う2つ の全 米 規 模 の 学 力 テ ス トを用 い て、 卒 業 試 験 に2科 目 しか 出題 され なか った 場 合 、 そ の組 み 合 わ せ に よっ て不 合 格 者 の男 女比 が どの よ うに変 わ る か を シ ミュ レー シ ョ ン した もので あ る。 一 般 に男 子 の 平均 点 が 高 い数 学 と理科 の組 み 合 わせ で は 、女 子 の不 合 格 者 は男 子 の1.31倍 に な る。 一 方 、女 子 の方 が 平均 点 が 高 い 読 解 とラ イ テ ィ ング の組 み 合 わせ で は、 女子 の不 合格 者 は 男子 の3分 の1に しか な らない 。 これ らの科 目は い ず れ も高校 で普 通 に学 習 す る もので あ り、卒 業試 験 に課 せ られ る こ と自体 に不 適 切 な点 は ない 。 しか し2科 目 だ け しか 出 題 され な い とな る と、 あ る 意味 で 不 公 平 な試験 にな りか ね な い こ とが わ か る。

表INELSとNAEPの デ ー タ に も とつ く、

卒業 試 験 に お け る 不 合 格 者 の 比 率 予 測

科 目の 組 み 合 わ せ 不 合 格 率 の 男 女 比(女1男) Math&Science

History&Science Reading&Math Reading&Writing

1.31 1.04 0.78 0.34 (Willingham&Cole,1997,p243よ り)

で は 、不 合 格 者 の 男 女比 が1に な る科 目 の組 み 合 わ せ に す れ ば公 平 な の か、

とい うと問題 は そ う簡単 で は な い。 普段 の学 業成 績 は男 女 で どの よ う に分 布 し て い るの か(そ の様 子 を反 映 しなけ れ ば不 公 平 に な りか ね ない) 、その学校で 教 育 した 内容 をバ ラ ンス良 く反 映 す る 出題 とな って い る か(教 育 して い ない 内 容 が 出題 され た り、特 定 の領 域 に偏 っ てい た場 合 、学 校 以外 の教 育 も受 け られ

た 生 徒 や 、 そ の 領 域 に 関 心 を持 っ て い た 生 徒 に性 差 が あ る か も知 れ な い)、 そ もそ も卒 業 させ る べ き で な い 生 徒 が 誤 っ て 合 格 す る 割 合 は 男 女 で ど う な っ て い る の か(そ の よ う な生 徒 の 割 合 が 男 女 で 異 な っ て い れ ば 、 そ れ も 一 種 の 不 公 平 で あ る)な ど 、 適 切 で 妥 当 な 測 定 を 実 現 す る た め に 考 慮 す べ き条 件 は 他 に も あ る 。 ま た 、性 別 は 同 じ で も 、 不 合 格 に な っ た 生 徒 は テ ス トが 不 公 平 で あ る と み な し、 合 格 した 生 徒 は テ ス トを公 平 な も の とみ な す で あ ろ う し 、 学 校 側 と保 護 者 とで も 、 公 平 さ に つ い て の 見 方 が 異 な る こ とが 予 想 さ れ る 。

こ の よ う に 、 性 差 だ け 考 え て も公 平 な 出 題 は 難 しい こ と が わ か る 。 個 人 の 価 値 観 や 利 害 的 立 場 が 大 き く影 響 す る 問 題 で あ る だ け に 、 万 人 が 納 得 で き る 「公 平 性 」 を 形 成 す る の は 非 常 に 困 難 で あ る 。 そ れ を 具 現 す る た め の 測 定 方 法 を探

る 試 み も ま た 、 統 一 的 な 成 果 を 生 め な か っ た 。

測 定 の 研 究 者 に よ る 「公 平 な 測 定 モ デ ル 」 を 見 出 す 努 力 は 、1960年 代 の テ ス ト批 判 を 受 け た 形 で 始 ま っ た(Clearly,lg68;Cole,lg73;Darlington,Ig71;Linn, 1973;Thomdike,1971な ど)。

高

合格後の成績

低

低 選 抜 テス トの得 点 高 図1:予 測的 妥当性 に差異 がない場合

Clearly(1968)の 考 え 方 は 、 予 測 的 妥 当 性 に 基 礎 を 置 く も の で あ る 。 選 抜 に テ ス トを 用 い る 場 合 、 最 適 な 方 略 は 選 抜 後 の 業 績 ・成 績 が よ り高 くな る 人

を 採 用 す る こ と で あ る 。Clearly (1968)は 、 選 抜 後 の 成 績 を 基 準 変 数 、 選 抜 テ ス トを 説 明 変 数 と した 回 帰 直 線 を考 え た 。 そ して 、 特 定 の 下 位 集 団 に対 す る予 測 値 に系 統 的 な残 差(過 大 予 測 も し く は 過 小 予 測)が 含 ま れ る と

き、 そ れ を テ ス トの バ イ ア スbiasと 定 義 し た 。 こ の 考 え に よ る と 、 下 位 集 団 ご と に 求 め た 回 帰 直 線 が 同 一 に な れ ば 、 予 測 的 妥 当 性 に 差 異 は な くな り 、 バ イ ア ス が な い こ と に な る(図1)。Clearlyの 貢 献 は 、 下 位 集 団 に よ る 有 利 ・不 利 を 統 計 的 な 観 点 か ら議 論 で き る よ う に した こ と で あ る 。 以 後 、 心 理 学 、 と くに 測 定 の 研 究 者 は 「公 平 性fairness」 と 「バ イ ア スbias」 と を 切 り離 し て 扱 い 、 「バ イ ア ス」 を 「下 位 集 団 に よ っ て 得 点 が 系 統 的 に 有 利 ・不 利 に な る こ と」 と純 粋

に 統 計 的 な も の と して 定 義 し、 そ の モ デ ル 化 や 検 出 方 法 を探 る こ と と な っ た 。 こ こ で 、 心 理 学 で は 公 平 性 を どの よ う に と ら え て い る の か に つ い て 整 理 して お く。 ア メ リ カ 教 育 学 会 、 ア メ リ カ心 理 学 会 、 全 米 教 育 測 定 評 議 会 とい う 、 心 理 測 定 に 関 わ る 主 要3学 会 が 共 同 で 作 成 した"Standards"(AERA,APA,&

NCME,]999)に よ れ ば 、 「公 平 性 」 と い う用 語 は 専 門 用 語 と して 単 一 の 意 味 を 持 つ わ け で は な く、 研 究 者 の あ い だ で も異 な る 意 味 に 用 い ら れ る こ と が あ る

と い う 。 そ の 用 法 は 大 き く4つ に 分 け ら れ る 。 (a)バ イ ア ス が な い こ と

テ ス トを 選 抜 や 予 測 に 用 い る 場 合 の バ イ ア ス の 操 作 的 定 義 と して 、 Clearly流 の 「回 帰 直 線 が 等 しい こ と」 が 採 用 さ れ て い る

(b)受 験 者 が テ ス トの 全 プ ロ セ ス に わ た っ て 平 等 な 扱 い を 受 け る こ と (c)テ ス トの 結 果 が ど の 下 位 集 団 に お い て も等 し く な る こ と

合 格 率 が 各 下 位 集 団 で 等 しい こ と を 求 め て い る の で は な く 、 測 定 し た い 特 性 を 同 じ程 度 有 して い る 人 は 、 所 属 す る 下 位 集 団 に よ らず 平 均 的 に 同 じ得 点 に な る 、 と い う 意 味 で あ る

(d)テ ス トに 含 まれ る 内 容 に対 し、 事 前 に ア ク セ ス で き る 機 会 が 平 等 で あ る こ と

こ の う ち 、 広 く心 理 学 で コ ン セ ンサ ス を 得 て い る の は(a)と(b)で あ り 、 多 くの 心 理 学 者 が 公 平 な テ ス トは こ の2つ を 備 え る べ き だ と い う こ と に 同 意 し て い る (AERA,APA,&NCME,1999)。(c)も 理 念 的 に は 望 ま し く 、 一 般 の 人 々 か ら の 要 請 も大 き い 。 しか し測 定 した い 特 性 を完 壁 に 測 る こ と は で き な い た め 、 ど ち ら か と い う と理 念 的 な 目 標 と い え る 。

3‑2「 公 平 な測 定 」 モ デ ル 構 築 の 試 み

Cleary(1968)以 降 の 「公 平 な 測 定 モ デ ル 」 は 、Cleary(1968)と 同 様 に 選 抜 テ ス トか ら 合 格 後 の 成 績 を 予 測 す る 状 況 を 扱 い 、 マ ジ ョ リ テ ィ 、 マ イ ノ リ テ ィ ど ち ら に も公 平 と い え る状 態 を 求 め よ う と した も の と位 置 づ け ら れ る 。

Darlington(1971)は 、 基 準 変 数Y、 選 抜 テ ス トX、 人 種Cと した と き 、 「文 化 的 に 最 適 な テ ス ト」 の 状 態 を

㌦ひ,=0(D・ ・li・gt・n'・D・finiti・・3)

と表 現 し た 。 こ れ は 、 基 準 変 数 にお い て 同 じ成 績 を収 め る 人 ど う しを 比 較 した と き 、 テ ス ト得 点 は 人 種 と 関 連 を 持 っ て は な ら な い と い う こ と を 表 わ し て い る 。 しか し こ の モ デ ル で は 、Yの 達 成 に 必 要 な 能 力 が す べ て 測 定 さ れ て い る必 要 が あ る と い う指 摘(HunterandSchmidt,且976)が あ る 。 ま た 、 時 間 的 に 後 に 生 じ る 変 数 で コ ン トロ ー ル す る と い う、 因 果 の 方 向 と は 逆 向 きで 考 え て い る 点

に も不 自 然 さ が あ る 。

図2は 、 選 抜 テ ス ト場 面 に お け る 受 験 者 を整 理 し た も の で あ る 。 横 軸 に 選 抜 テ ス トに よ る 合 格 者 ・不 合 格 者 の 区 分 、 縦 軸 に 合 格 後 に 良 い 成 績 を 収 め る か ど う か の 区 分 が 存 在 し、 こ の 組 み 合 わ せ で4通 り の 受 験 者 群 が で き る 。AS

(Accepted‑Success)は 、 テ ス トで 合 格 し 合 格 後 も 良 い 成 績 を 収 め る 人 で あ る。 そ の 対 極 に 位 置 す るRF(Rejected一 低 選抜テス トの織点 高Failure)は 、 テ ス トで 不 合 格 に な り、

図2:選 抜テス ト場面における4分類 合 格 して も 良 い 成 績 を収 め ら れ な い 人 で あ る 。 こ の2群 は 、 テ ス トに よ っ て 適 切 な判 断 が 下 さ れ た 場 合 で あ る 。 一 方 AF(Accepted‑Failure)は 合 格 後 に 良 い 成 績 を 収 め られ な い 人 が 誤 っ て 合 格 した false‑positiveの場 合 で あ り、RS(Rejected‑Success)は 合 格 後 に 良 い 成 績 を 収 め

ら れ る の に 誤 っ て 不 合 格 に さ れ たfa且se‑negativeの 場 合 で あ る 。ColeandZieky (2001)は 、 こ の4分 類 を 用 い て3つ の 「公 平 な 測 定 モ デ ル」 を整 理 した 。 そ れ に よ る と 、Thorndike(1971)の モ デ ル は 、 合 格 後 に 良 い 成 績 を収 め る 人 と実 際

高 良RsiAS

合 (fal・e‑・オ

格 後 の

成 歪 ㎜

.aF (false‑p 績

低 不合格 合格

AS+AF が 下 位 集 団 間 で 等 し

い と き に 、 そ の 測 定 は 公 平 で あ に 合 格 した 人 の 比AS

+RS

る とす る 。 一 方 、Cole(1973)の モ デ ル は 、 合 格 後 に 良 い 成 績 を 収 め る 人 の 中 AS が

下 位 集 団 間 で 等 しい と き に 、 そ の 測 定 は 公 平 で 合 格 者 の 占 め る 割 合AS+RS

で あ る と す る 。ま た 、Linn(1973)の モ デ ル は 、 合 格 者 の う ち 良 い 成 績 を収 め る AS が 下位 集 団間 で等 し

い と き に、その 測定 は公 平 で あ る とす る。

人 の割 合 AS+AF

こ れ ら 「公 平 な測定 」 の モ デ ル は、 本 来 測定 され ないRSやRFの 部 分 を用 い た議 論 を行 って い た り、 きわ めて 成績 の良 い 人 とギ リギ リ合否 ラ イ ンの人 を区 別 せ ず に議 論 して い た りして 、問 題 が ない とはい えな い。 これ を も とに合否 基 準 を求 め る とい う よ り、 公平 性 の 考 え方 を示 す ため の モ デル と位 置づ けた ほ う

がふ さわ しい とい え る。

4回 帰 に よ る 予 測 の 難 し さ 4‑1マ イ ノ リテ ィ へ の 過 大 予 測

そ も そ もテ ス ト批 判 論 者 や 一 般 大 衆 は 、 「本 来 マ イ ノ リ テ ィ は マ ジ ョ リ テ ィ と 同 等 の 能 力 が あ る の に 、 テ ス トで は 不 当 に 低 く評 価 され て い る 」 と い う こ と を 前 提 に し て い た 。 そ の 状 況 を 図 で 表 わ し た も の が 図3で あ る 。 マ イ ノ リ テ ィ の 得 点 分 布 は 、 マ ジ ョ リ テ ィ に比 べ て 合 格 後 の 能 力 に 関 す る違 い は な い が 、 テ ス ト得 点 は 一 貫 し て 低 い 。 そ の た め 、 合 格 後 に 同 じ成 績 を 取 る と予 測 さ れ て

も 、 マ イ ノ リ テ ィ の 方 が テ ス ト得 点 が 低 い た め 、 不 合 格 に な り や す い 。

低 テス ト得点 局 低 テス ト得点 筒

図3:同 じ能力でもマイノリティの 図4:実 際の得点分布

テス ト得点が低くなる場合

し か し現 実 の デ ー タ を 分 析 して み る と 、 得 点 分 布 は 図4の よ う に な っ て い る こ と が 明 ら か に な っ て き た 。 予 測 の 回 帰 直 線 で い う と 、 直 線 の 位 置 に 差 が な い か 、 あ っ た と して もマ イ ノ リ テ ィ の 方 が 下 側 に 位 置 して い る ケ ー ス が ほ と ん ど で あ っ た の で あ る(CamilliandShepard,1994;C且early,且968;HunterandSchmidt,

2000;Linn,1994な ど)。 こ の 場 合 、 両 集 団 に 共 通 の 回 帰 直 線(も し くは マ ジ ョ リテ ィ の 回 帰 直 線)を 用 い て マ イ ノ リ テ ィ の 合 格 後 の 予 測 値 を 求 め る と 、 本 来 の 位 置 よ り高 い 予 測 値(過 大 予 測overprediction;図4の 太 い 矢 印 部 分)が 得 ら

れ る こ と に な る 。 予 測 値 が 高 い 順 か ら 合 格 者 を決 め れ ば 、 マ イ ノ リ テ ィは む し ろ得 を す る。 す な わ ち 現 状 の テ ス トは 、 逆 に マ イ ノ リ テ ィ に 有 利 な バ イ ア ス を 持 っ て い る と い え る の で あ る(CamilliandShepard,1gg4;Clearly,1968)。

こ う し た 過 大 予 測 を 生 む 要 因 と して 、Linn(1994)やLinn&Hastings (1984)は 以 下 の3点 を 指 摘 して い る 。

(a)テ ス トの 信 頼 性 が 完 全 で な い

(b)重 要 な 予 測 変 数 が 回 帰 モ デ ル に 入 れ ら れ て い な い (c)下 位 集 団 ご と の 選 抜 率 が 異 な る

こ の う ち(c)に つ い て は 選 抜 率 を 等 し くす れ ば よ い し、(b)に つ い て も どの 変 数 を使 うべ き か に つ い て の 合 意 が あ れ ば 、 統 計 的 に は 解 決 可 能 な 問 題 で あ る 。 しか し(a)は 心 理 測 定 の 永 遠 の 課 題 で あ り 、 と く に 認 知 能 力 の よ う な 抽 象 的 な 特 性 の 測 定 で は 、 測 定 誤 差 が ま っ た く な い 心 理 測 定 は 不 可 能 と い え る 。 した が っ て 回 帰 に よ る 予 測 と い う手 法 を用 い る 限 り 、 マ イ ノ リ テ ィ の 過 大 予 測 も永 遠 に 解 消 さ れ な い こ と に な る 。

回 帰 直 線 の 位 置 関 係 に は 、 こ れ 以 外 の 場 合 も考 え ら れ る 。 図5と 図6は 、 予 測 的 妥 当 性(=回 帰 直 線 の 傾 き)が 下 位 集 団 に よ っ て 異 な る ケ ー ス で あ る

(SackettandWilk,lgg4,Figurelを 改 変)。

高合格後の成績

低

マ ジ ョ リテ ィ

マイ ノ リテ ィ

低 テス ト得点 高

図5:差 異 妥 当性 の ケー ス1

低 テ ス ト得 点 筒 図6:差 異妥 当性 のケ ース2

図5で は 、 テス トがマ ジ ョリ テ ィにだ け予 測 的 妥 当 性 を持 ち 、マ イ ノ リテ ィ で はテ ス トの 得点 と合 格後 の成績 との あ い だ に関連 性 が ない。 ただ しマ イ ノ リ テ ィの 予 測値 は 、 回帰 直 線 が 下側 に あ る ため 、 図4と 同 じく一貫 してマ イ ノ リ テ ィが 過 大予 測 され る。 図6は 、 回 帰 直 線 が途 中 で交 差 す る場 合 で あ る。 この 場 合 テ ス ト得 点 の位 置 に よ って 、 過 大予 測 と過 小 予 測 が 生 じる こ とに な る。

図5の ケ ー ス で は 、 そ も そ も予 測 的 妥 当 性 が 異 な る た め 、 共 通 の テ ス トを 用 い る こ と 自 体 に疑 問 が 生 じ る 。 ま た 図6の ケ ー ス も、 マ イ ノ リ テ ィ に と っ て よ り適 切 な テ ス トが 他 に 存 在 す る 可 能 性 が あ る 。 もっ と も 実 際 の デ ー タ は ほ と ん ど が 図4の パ タ ー ン を 取 り、 図5や 図6の ケ ー ス が デ ー タ で 確 認 さ れ る の は チ ャ ン ス ・レ ベ ル で あ る と され て い る(SackettandWilk,1994)。 しか し 、 も し生 じた と き に は 測 定 の 本 質 に 関 わ る 問 題 と な る た め 、 一 律 の 得 点 調 整 や テ ス ト項 目 の 一 部 差 し替 え 程 度 で は 対 処 で き な い 可 能 性 が あ る 。 そ の 場 合 は 下 位 集 団 ご と に 異 な る採 用 手 続 き(異 な る 合 否 ラ イ ン 、 異 な る 採 点 基 準 、 異 な る テ ス トな ど)を 設 け る 必 要 が あ る だ ろ う。

4‑2バ イ ア ス の な い テ ス トが は ら む ア ー テ ィ フ ァ ク ト

Clearly流 の バ イ ア ス の な い テ ス トに も 問 題 が な い わ け で は な い 。 図7は 、Clearly流 の バ イ ア ス の な い

テ ス トを 示 した もの で あ る 。 マ ジ ョ リ テ ィ とマ イ ノ リ テ ィの そ れ ぞ れ で 求 め た 回 帰 直 線 が 一 致 し、 バ イ ア ス の な い テ ス トの 操 作 的 定 義(AERA,APA, andNCME,1999;ColeandMoss,1989)

を満 た して い る 。 こ こ で 、 合 格 後 に 良

い成 績 を収 め る人 の うち合 格 者 の 占め る割 合(図2で い う と

採用 テス ト

図7:信 頼性 が完全 で ない ことに よる

"採用 もれ"

AS)

は 、 マAS +RS

ジ ョ リ テ ィ の 方 が 高 く な る 。 こ れ は 、Cole(1973)流 の 公 平 性 の 考 え 方 に 立 て ば マ イ ノ リ テ ィ に 不 利 な 不 公 平 で あ る 。 反 対 にLinn(1973)流 に 考 え る と 、 合

AS 格 者 の う ち 良

い 成 績 を 収 め る 人 の 割 合(図2で い う と)は マ ジ ョ リ テ ィ AS+AF

の 方 が 高 く、 マ イ ノ リ テ ィ に 有 利 な 不 公 平 と な る 。

こ う した 比 率 の 下 位 集 団 差 は 、 基 準 変 数 と説 明 変 数 と の 相 関 が 完 全 で な い た め に 生 じ る 純 粋 に 統 計 的 な ア ー テ ィ フ ァ ク トで あ る こ と が わ か っ て い る (CamilliandShepard,1994)。 つ ま り、 統 計 的 な 意 味 で の バ イ ア ス の 有 無 に 関 わ らず 、 測 定 に 非 信 頼 性 の 部 分 と 非 妥 当 性 の 部 分 が 含 ま れ る 限 り、 そ して 下 位

集 団 に よ る 平 均 値 差 が 存 在 す る 限 り 、 な ん ら か の 有 利 ・不 利 が 必 ず 生 じる こ と に な る の で あ る σ

こ う し た 検 討 を経 て 、 測 定 の研 究 者 た ち は 、 全 員 が 合 意 で き る"公 平 な 測 定 モ デ ル"の 構 築 に は 限 界 が あ る と の 認 識 に至 っ た 。 そ して 、

(a)テ ス トを単 独 で 用 い ず 、 基 準 変 数 の 予 測 に 関 連 の あ る他 の 情 報 と組 み 合 わ せ て 用 い る こ と

(b)下 位 集 団 ご と に 標 準 化 す る な ど して か ら 、 共 通 の 合 否 ラ イ ン を あ て は め る こ と

な ど の提 言 を行 っ た の で あ る(HartiganandWigdor,1989)。

4‑2下 位 集 団 ご と の 標 準 化GroupNorming

下 位 集 団 間 に見 られ る 得 点 差 の 調 整 に つ い て は 、 主 に 以 下 の5つ の 方 法 が 検 討 され た(SackettandWilk,1994)。

(a)ボ ー ナ ス ポ イ ン ト方 式

低 得 点 の 下 位 集 団 に 一 律 の 加 算 を す る。 得 点 分 布 の 形 や 分 散 が 下 位 集 団 間 で 等 し け れ ば 問 題 な い が 、 異 な る 場 合 に は う ま く機 能 し な い 。 (b)下 位 集 団 ご と に 異 な る 合 否 ラ イ ン

こ れ は 、 実 質 的 に は ボ ー ナ ス ポ イ ン ト方 式 と 同 じに な る 。 (c)下位 集 団 ご と に 合 格 枠 を割 り 当 て る

ク ォー タ方 式 と も 呼 ば れ 、 下 位 集 団 内 で の 得 点 順 に 、 割 り当 て ら れ た 人 数 だ け 合 格 させ る 。 そ の 人 数 は 、 母 集 団 に お け る 人 数 比 や 受 験 者 内 で の 此 率 で 決 め ら れ る こ と も あ る が 、 そ の 他 の 社 会 的 な 状 況 が 考 慮 さ れ る こ と も あ る 。 結 果 的 に は 下 位 集 団 ご と に 異 な る 合 否 ラ イ ン を 設 定 す る こ と に な り 、(a)や(b)と ほ と ん ど 変 わ ら な い 。

(d)下 位 集 団 内 で そ れ ぞ れ 標 準 化

下 位 集 団 ご と に 標 準 化 した り 、 パ ー セ ン タ イ ル 得 点 や パ ー セ ン タ イ ル 順 位 に 変 換 し た り し て 、 基 準 化 して お く。 そ の 後 集 団 を 合 併 した リ ス トを 作 成 して 上 位 か ら合 格 させ て い く。 得 点 分 布 の 形 が 異 な っ て も使 え る た

め 、 ボ ー ナ ス ポ イ ン ト方 式 よ り も得 点 差 を解 消 しや す い 。 (e)バ ン デ ィ ン グBanding方 式

あ る得点 幅 にい る人 は み な 同 じ得 点 とみ な し、そ の 中で ラ ンダム も しく は他 の 要 因 を考慮 しな が ら合格 者 を決 め る。

(e)の バ ンデ ィ ング方 式 につ い て は説 明 が必 要 で あ ろ う。 この 方式 は下 位 集 団 を こみ に した 合否 ラ イ ンを採 用 しつ つ 、不 公平 を解 消 す る方 策 を組 み込 んで い る点 で特 徴 的 で あ る。 バ ンデ ィング方 式 で は 、全 受験 者 中の最 高 得 点 か ら統 計 的 に有 意 差 の な い と ころ まで を1つ の幅(バ ンデ ィ ング)と し、そ の 中で は 得 点 に違 い が な い もの と考 え る。バ ンデ ィング内 か らは どの よ うに合 格者 を選 ん で もよい 。 しか し得点 の高 い 区域 に は一般 にマ ジ ョ リテ ィが多 いた め 、 ラ ン ダム に選 抜 す る とマ イノ リテ ィが なか なか採 用 され ない 。 そ こで 同 じバ ンデ ィ ング内 で は マ イノ リテ ィを優 先 して合 格 させ る とい う方 式 が取 られ る こ とが 多 い 。

Cascio,Outtz,Zedeck,andGoldstein(1991)は 、 こ の バ リ エ ー シ ョ ン と し て

「ス ラ イ デ ィ ン グ ・バ ン ドSlidingBands方 式 」 を提 案 し た 。 あ る バ ン デ ィ ン グ の 最 高 得 点 者 が 選 抜 さ れ た と き 、 残 っ た 人 の 中 で の 最 高 得 点 者 と統 計 的 な 有 意 差 の な い と こ ろ ま で バ ン デ ィ ン グ の 下 限 値 を 下 げ る と い う も の で あ る 。 こ の 方 式 を 取 っ た と き 、 た と え ば 次 の よ う な 採 用 手 続 き が 考 え ら れ る(Sackettand Wilk,1994)o

① 最 高 得 点 が100,x?;で 、 そ れ と統 計 的 に 有 意 差 の な い 下 限 が91点 と す る (バ ン デ ィ ン グ は100点 か ら91点)

② こ の 中 で マ イ ノ リ テ ィ を 優 先 的 に 合 格 させ る

③ 次 に マ ジ ョ リ テ ィ を ラ ン ダ ム 、 も し く は 得 点 以 外 の 何 ら か の 基 準 で 合 格 させ る

④ ② と③ の 手 続 き 中 に100点 の 人 が い な く な っ た ら 、 次 の 最 高 得 点 者 に 応 じ て バ ン デ ィ ン グ を 下 に 移 動 させ る

⑤ ② に 戻 る

バ ン デ ィ ン グ を 下 に 移 動 させ る こ と は 、 マ イノ リテ ィが選 ば れ る機 会 を広 げ る 働 き を す る 。 も しマ イ ノ リ テ ィ優遇 策 を 推 し進 め た け れ ば 、 ② や ③ の 手 続 き で マ イ ノ リ テ ィや マ ジ ョ リ テ ィ を 得 点 順 に 上 か ら 選 抜 し て 、 よ り速 や か にバ ン デ ィ ン グ を ス ラ イ ド させ れ ば よ い(CascioetaL,1991)。

バ ンデ ィ ン グ 方 式 に つ い て は 、 他 に もい くつ か の バ リエ ー シ ョ ンが 提 案 さ れ た 。 しか し そ れ ら に 対 して は 様 々 な批 判 が 出 さ れ て い る 。 た と え ば 、 最 高 得 点 と有 意 差 の な い 範 囲 に つ い て は1つ の バ ンデ ィ ン グ と み な し、"得 点 以 外 の 判 断 基 準"に し た が っ て 選 抜 して い く一 方 、 バ ン デ ィ ン グ の 下 限 付 近 で は1点 の 差 で バ ン デ ィ ン グ に 入 る か 否 か が 分 か れ 、 有 意 差 を 考 慮 し て い な い 、 と い う指 摘 で あ る(Schmidt,1991)。 ま た 、 確 率 的 に は テ ス ト得 点 が 高 く な れ ば 基 準 変 数 で の 得 点 も高 ま る の は 明 ら か で あ り、 有 意 差 は な い と は い え 同 等 に 扱 っ て 良 い の か と い う疑 問 も あ る(Gottfredson,1994)。 ス ラ イ デ ィ ン グ ・バ ン ド方 式 で マ ジ ョ リ テ ィ を得 点 順 に 採 用 す る 方 式 に つ い て は 、 バ ン デ ィ ン グ 幅 をマ イ ノ リ テ ィ に 加 算 す る ボ ー ナ ス ポ イ ン ト方 式 と 実 質 的 に 変 わ ら な い と い う 指 摘

(SackettandWilk,1994)や 、 マ ジ ョ リ テ ィ に つ い て は バ ン デ ィ ン グ 内 で も1 点 の 差 を用 い て お り、 そ れ は 論 理 的 な 矛 盾 だ と い う指 摘(Schmidt,1991)が な

さ れ て い る 。

バ ン デ ィ ン グ 方 式 は 、 マ イ ノ リ テ ィ優 遇 と い う本 来 統 計 的 な処 理 に な じ ま な い 問 題 を 、 統 計 的 な 仮 面 を か ぶ せ て 対 処 し よ う と し た 試 み と い う こ と が で き る 。 ま た 当 時 の ア メ リ カ 社 会 に は 、 得 点 調 整 と い う や りか た は 二 重 基 準 で あ り

「ず る い 」 と い う 認 識 が 存 在 す る な ど(SackettandWilk,1994)、 社 会 的 な 支 持 も あ ま り得 られ な か っ た 。1991年 の 公 民 権 法 で 下 位 集 団 別 の 取 り扱 い が 禁 じ

ら れ た こ と も 影 響 して か 、 こ れ 以 降 、 生 じ た 得 点 差 を 事 後 的 に 調 整 す る 方 策 の 探 求 は あ ま り行 わ れ な く な っ た 。

5DIF:DifferentialItemFunctioning 5‑1項 目 レベ ル の バ イ ア ス

法 律 家 や ジ ャ ー ナ リ ス トは 認 知 能 力 テ ス トが マ イ ノ リ テ ィ に 不 利 な バ イ ア ス を持 っ て い る と主 張 し て き た が 、 お び た だ しい 数 に の ぼ る 実 証 的 な 研 究 に よ っ て 、 そ の 説 は 繰 り返 し否 定 さ れ た(Hunter,Schmidt,andHunter,lg7g;Hunterand Schmidt,2000)。 しか しテ ス ト全 体 で の バ イ ア ス が な く て も 、 項 目 レベ ル で は バ イ ア ス が 存 在 す る とい う 主 張 は 依 然 と し て 続 い て い た(HunterandSchmidt, 2000)。 こ れ ま で 見 て き た 「公 平 な 測 定 の モ デ ル」 と事 後 的 な 得 点 調 整 に 関 す

る 研 究 は 、 い ず れ も テ ス ト全 体 と して の バ イ ア ス を取 り上 げ た も の で あ っ た 。 こ の 節 で は 、 項 目 レベ ル で 発 生 す る バ イ ア ス を い か に して 検 出 す る か につ い て 見 て い く こ と に す る 。

テ ス ト レベ ル で バ イ ア ス を 検 討 す る と き に は 、 基 準 変 数 と の 関 係 の あ りか た を 活 用 し て 下 位 集 団 間 の 差 を 検 討 し て い た 。 一 方 、 項 目 レベ ル で バ イ ア ス を検 討 す る と き は 、 あ る テ ス ト項 目 の 正 答 率 に 下 位 集 団 間 で 差 が あ る か ど う か が 問 題 と され る。 こ の 方 法 で 検 出 さ れ る の は 、 テ ス ト内 の 他 の 項 目 と比 較 して 相 対 的 に 異 質 に機 能 す る項 目 で あ る 。 テ ス ト内 の 全 項 目 に 一 貫 して 含 ま れ る バ イ ア ス は テ ス ト レ ベ ル の バ イ ア ス と な り 、 こ の ア プ ロ ー チ で は 検 知 で き な い

(CamilliandShepard,1994)o

こ こ で 「項 目 バ イ ア ス 」 と い う 用 語 に つ い て 整 理 し て お く。Camilliand Shepard(1994)は 、 項 目 の 正 答 率 が 下 位 集 団 に よ っ て 異 な り、 か つ そ の 原 因 が 測 定 す べ き特 性 と は 無 関 係 の 要 因(人 種 や 性 別 な ど)に よ っ て も た ら され て い る と き に 「項 目 バ イ ア ス 」 と い う用 語 を 使 う べ き だ と して 、 単 に 正 答 率 が 異 な る こ と を 指 す 統 計 的 な 用 語 と し て の 差 異 的 項 目 機 能DIF:DifferentialItem Functioning(HollandandWainer,1993)と は 区 別 す べ きだ と して い る 。 し か し 前 述 の よ う に 、 テ ス ト レベ ル で は 「バ イ ア ス 」 とい う用 語 は 統 計 的 な 意 味 に 限 定 さ れ て 用 い ら れ て い る 。 本 論 文 で は 、 混 乱 の な い 限 り 、 下 位 集 団 に よ る 項 目 レベ ル で の 統 計 的 差 異 を 指 す 場 合 に 「項 目 バ イ ア ス 」 と 「DIF」 を 同 等 の 意 味 に 用 い る こ と に す る 。

5‑2項 目正 答 率 に も とつ くDIF指 標

項 目 レベ ル で の バ イ ア ス 研 究 の さ き が け と な っ た 研 究 は 、ClearlyandHilton (1968)で あ ろ う 。 こ の 研 究 で は 、 テ ス ト内 の 項 目 を 被 験 者 内 要 因 、 人 種 と SESを 被 験 者 間 要 因 と した3要 因 の 分 散 分 析 を行 い 、 項 目 × 人 種 の 交 互 作 用 が 有 意 か ど う か で 、 項 目 レベ ル のDIFの 存 在 を 検 討 した 。 こ の 方 法 で は 、 ど の 項 目 に バ イ ア ス が あ る の か が 特 定 で き な い と い う限 界 が あ る が 、 項 目 に 着 目 した 点 で 大 き な 貢 献 だ っ た と い え る 。

各 項 目 のDIFを 分 析 す る ス ト レ ー トな 方 法 は 、 項 目 正 答 率 を比 較 す る こ と で あ る 。 マ ジ ョ リ テ ィ に お け る 項 目正 答 率 とマ イ ノ リ テ ィ に お け る 項 目 正 答 率 と

を 比 較 し 、 相 対 的 に異 質 な 項 目 が あ れ ば 、 そ れ を バ イ ア ス の あ る 項 目 とみ な せ ば よ い 。 こ の 方 法 に は い くつ か の バ リ エ ー シ ョ ン が あ る が 、 そ の う ち 代 表 的 な もの がAngoffの デ ル タ プ ロ ッ ト法(AngoffandFord,1973)で あ る 。

デ ル タ プ ロ ッ ト法 で は 、 ま ず 、 項 目 正 答 率 を 標 準 正 規 分 布 の パ ー セ ン タ イ ル

n

739

第1集団のデルタ

5

プ ロッ トの主 軸

・'/

●

● ● ●

異 質 な項 目

59131721

第2集 団 の デ ル タ 図8:Mgoffの デ ル タ プ ロ ッ ト法

に 変 換 す る 。 そ れ を100か ら引 き 、 さ ら に平 均13、 標 準 偏 差4に な る よ う に 変 換 す る 。 こ の 値 を デ ル タ と 呼 ぶ 。 デ ル タ は 正 の 値 しか 取 らず 、 数 字 が 大 き くな る に つ れ 項 目 が 難 し く な る こ と を 表 わ す 。 こ の 指 標 を マ ジ ョ リ テ ィ と マ イ ノ リ テ ィ 別 々 に 求 め 、 プ ロ ッ トす る (図8)。 散 布 図 上 で 主 軸 か ら の 距 離 が 大 き い 項 目 は 、 他 の 項 目 に 比 べ て 正 答 率 の 表 わ れ 方 が 異 な る こ と を 意 味 し

(ColeandMoss,1989)、 何 ら か の 付 加 的 な 要 因 が 働 い て い る こ とが 疑 わ れ る 。 他 のDIFの 検 出 方 法 と して は 、 点 双 列 相 関 係 数(あ る 項 目 へ の 正 答/誤 答 と テ ス ト得 点 との 相 関 係 数)を 下 位 集 団 間 で 比 較 して 値 が 大 き く異 な る 項 目 を 検 出 す る 方 法(GreenandDraper,1972)、 因 子 分 析 に よ っ て テ ス トの 内 部 構 造 を 探 り下 位 集 団 間 で 比 較 す る 方 法 な ど が 考 案 さ れ て い る。 こ れ ら の 方 法 は 、 項 目 の 正 答 率 を 利 用 して い る 点 で 分 散 分 析 や デ ル タ プ ロ ッ ト法 の ア プ ロ ー チ と共 通 し て い る(CamilliandShepard,1994)。

項 目 正 答 率 に も とつ い た 方 法 は シ ン プ ル で わ か りや す い が 、 一 方 で 大 き な 欠 点 も あ る 。 表2の 場 合 を 考 え よ う 。 項 目1は 項 目2に 比 べ 、 集 団 間 で の 正 答 率 の 差 が 大 き く、 集 団Aに と っ て 不 当 に 難 し く集 団Bに と っ て 不 当 に 易 し い 項 目 の よ う に 見 え る 。 こ の 見 方 に 立 て ば 、 項 目1に は 集 団Aに 不 利 な バ イ ア ス が あ る と 判 断 さ れ る 。 しか し こ の デ ー タ は 、 各 下 位 集 団 の 能 力 分 布 が 図9の 右 図 の よ う に な っ て い る と き に も得 ら れ る 。 こ こ で 、 項 目1へ の 正 答 可 能 性 の 変 化 は 項 目 2に 比 べ 能 力 レ ベ ル の 違 い に よ り敏 感 に 反 応 し て い る 。 こ の こ と は 、 項 目1の 方 が 能 力 を 識 別 す る 力 が 高 い こ と を 意 味 す る 。 項 目1は 、 バ イ ア ス ど こ ろ か 測 定 上 望 ま し い 性 質 を 備 え て い る と い え る の で あ る 。2つ の 下 位 集 団 は 同 じ項 目 特

性 曲 線 を 共 有 して い る た め 、 両 項 目 に 統 計 的 な 意 味 で の バ イ ア ス は な い 。 単 純 に 正 答 率 だ け を 比 較 す る と 、 本 来 優 れ た 項 目 に 誤 っ て バ イ ア ス を認 め て し ま う 危 険 が あ る の で あ る 。

項 目 の 正 答 率 は 、 項 目 本 来 の 難 し さ の ほ か 、 項 目 の 識 別 力 、 受 験 者 の 能 力 分 布 な ど の 相 互 作 用 に よ っ て 決 ま る 。 こ う した パ ラ メ タ が 不 明 の と き に 、 項 目正 答 率 を 利 用 した バ イ ア ス 検 出 法 を 用 い る と 、 誤 っ た 判 断(false‑positive、false‑

negative共 に)に つ な が りか ね な い 。 こ の よ う な 危 険 が あ る た め 、 正 答 率 に基 づ く検 出 法 は 現 在 あ ま り薦 め ら れ て い な い(CamilliandShepard,1994)。

表2=下 位 集 団 に よっ て 正答 率 の 差 に違 い が あ る 例 集 団Aで の 正 答 率 集 団Bで の正 答 率 正 答 率 の差 項 目1

項 目2

.zs .35

00ワ'10 5542

(CamilliandShepard,1994,p26よ り)

正答率

● 項 目1

0項 目2

‡

52 ○●

ξ::/

特性 レベル

集 団A集 団B

図9:表2の 図示(左)と 項 目特性 曲線(右) (項目正答率 の位置 は、左 右 の図で等 しい こ とに注 意)

㌧

● 項 目1

○ 項 目2 正

答率 ^:

■

i

: 特性 レベ ル

レ

集 団A集 団B

特性 曲線(右)

5‑3代 表 的 なDIF指 標

現 在 使 わ れ て い るDIFの 指 標 は 、 大 き く2つ の 種 類 に 分 け ら れ る 。 項 目反 応 モ デ ル を用 い る こ とで 項 目 困 難 度 と項 目 識 別 力 あ る い は 能 力 分 布 との 交 絡 を 避 け た も の と、 能 力 な どの 特 性 レベ ル で 条 件 づ け た 後 に残 る 正 答 率 の 差 異 を 扱 う も の で あ る 。

項 目 反 応 理 論ltemResponseTheory(HambletonandSwaminathan,lg85;

Hambleton,Swaminathan,andRogers,1991;Lord,1980な ど)は 、 受 験 者 の 特 性

20

(=能 力 や パ ー ソナ リテ ィ特 性 な どの潜 在 変 数)レ ベ ル を、項 目の 困難 度 とは 独 立 して表 現 す る。 そ の ため 、 異 な る困 難度 の テス トを受 け た場 合 で も、 受験 者 の特性 レベ ル を独 立 した共 通 の モ ノサ シ上 に乗 せ て比 較 す る こ とが 可能 とな る。 項 目の機 能 を表 わ す パ ラ メ タに は、 項 目困難 度 の ほか 、項 目識 別力 や あ て

正答確率

特性 レベルθ 図10=下 位集団ごとの項 目特性曲線

ICCと 集 団Bのiccが 、 特 性 の 中 間 的 な位 置 で 交 わ っ て い る 。 こ の 位 置 よ り高 い 特 性 を持 つ 受 験 者 は 、 同 じ特 性 レベ ル で あ っ て も、 集 団Aに 属 し て い た 方 が 集 団Bに 属 し て い る と き よ り も 正 答 確 率 が 高 い(図 の 細 か な 点 線)。 こ れ は 集 団 Aに 有 利 な 状 態 で あ る 。 一 方ICCが 交 差 す る 位 置 で は 集 団 問 の 差 は な く な り 、 集 団 に よ る 有 利 不 利 は な い 。 交 差 す る 位 置 よ り低 い 側 で は 、 集 団Bに 属 して い た 方 が 正 答 確 率 が 高 く な り 、 逆 に 集 団Bの ほ う が 有 利 に な る 。 こ の よ う にICC を 用 い た と き のDIFは 、 下 位 集 団 間 でICCが 同 じ高 さ に あ る か ど う か で 示 さ れ る 。 項 目 バ イ ア ス が な い 、 す な わ ち ど の 特 性 レベ ル の 受 験 者 に 対 して もDIFが な い と い う こ と は 、 特 性 の 全 域 に わ た っ てICCが 同 一 に な る こ と で 示 され る 。

ICCを 利 用 したDIFの 指 標 は 、 下 位 集 団 に よ るICCの 差 異 を何 らか の 形 で 数 値 化 した も の と な る 。 食 い 違 い の 指 標 と して は 、2本 のICC問 の 面 積 を 求 め る もの が 主 流 で 、 符 号 つ きで 面 積 を 求 め る もの(図ioの 場 合 は 相 殺 さ れ て バ イ ア ス が 0に な る)、 符 号 な しの 面 積 を 求 め る も の 、 受 験 者 の 人 数 な ど で 重 み を つ け て 面 積 を 求 め る も の(符 号 つ き 、 符 号 な し)な ど の バ リ エ ー シ ョ ン が あ る

(CamilliandShepard,1994)o

ICCに よ る バ イ ア ス の 検 出 は 、 項 目 困 難 度 と識 別 力 あ る い は 能 力 分 布 と の 交 絡 を避 け て い る 点 で 、 理 論 的 に 優 れ て い る 。 し か し[CCの 記 述 に 用 い る モ デ ル 推 量 な ど が あ り、 受 験 者 の 特 性 レベ ル と 項 目 正 答 確 率 と の 関 係 を 図9の 右 図 に あ る よ う なS字 曲 線(項 目 特 性 曲 線 ICC;1[emCharacteristicCurve)で 表 わ す 。 曲 線 に は 正 規 累 積 曲 線 や ロ ジ ス テ ィ ッ ク 曲 線 が 用 い られ る 。

図10に 、 あ る 項 目 に対 す るICCを 下 位 集 団 別 に 求 め た 例 を 示 す 。 集 団Aの