良質な試験問題の作成法とその評価の仕方

* 

^{近峨畿大耀医誌配}

^ω

^{附乱色刷叩dJ川町 刷KGn川k川t 323} 

医学桶ジサーズ

良質な試験問題の作成法とその評価の仕方

平 野 ^丘主玉三.^l

松 尾 理

²

1近畿大学医学部附属病院中央臨床検査部・循環器内科学教室

2近畿大学医学部医学教育研究センター・第2生理学教室

抄 録

客観試験(objectiveexamination)とは，出題時にすでに正答が決定されており，採点者が異なっても同ーの採 点結果が得られるという利点、がある.そのためには，

r

問題文はある共通の約束の枠内で作成し，簡潔で日本語とし ての媛昧さを残さない明瞭な文章」としなければならない.多数の受験者の誰が読んでも，誤解を招かない多義'性 のない文章にする必要がある.さらに問題作成には十分な時間をかけると共に，作成後もその問題について充分吟 味をする必要がある.ここに問題評価の重要性が秘められている.

望ましい試験の条件としては，健全な自己学習を促進させ，問題解決能力を向上させるものが望ましい.いわゆ る山かけや一夜漬けをできる限り排除できるような問題作成を心掛けるべきである.知識の記憶を重視した出題に 偏重し，学生の応用力や問題解決力を問わない出題が多いと，実際の医師国家試験や共用試験CBTで役に立たな いことがある.したがって難問や奇聞を排し，暗記のみでは正解に至らないような解釈や問題解決に重点をおいた 出題を心がけるべきである.またその試験問題によって，良く学習し理解している学生とそれ以外の学生を高率に 識別できなければならない.したがって問題作成後に，その問題が良い問題であったかどうかを評価する必要があ る.問題に対する正解率だけではなし識別指数や最低合格水準 (MPL; minimum pass leve])あるいは修正イ ーベノレ法等を用いて，問題自体の評価を確実に実行する事によって，はじめて問題作成の作業が完結するのである.

この点を全ての問題作成者は充分に認識する必要がある.また試験を実施して充分吟味する事によって，次の問題 作成時にさらに良い問題作成が可能になる.

Key words:試験問題作成，試験問題評価

は じ め に

大学教員として学生の進級試験や卒業試験を作成 する事が多いが，試験問題作成には多くの労力と時 間を要する.実際には「試験問題作成のための多く の決まり事」を知った上で作間しなければならない.

しかし，試験問題作成について詳細に述べられたも のは少ない.今回，試験問題作成に携わる方々のた めに，試験問題作成とその評価について詳細なコツ あるいは注意点について述べる.

客観試験 (objectiveexamination)  出題時にすでに正答が決定している試験である.

採点者が異なっても同ーの採点結果が得られるとい う利点がある.客観試験によって評価できる学習領 域 (taxonomy)は，知識，態度，技能の3領域のう

ち，知識の領域の想起，解釈および問題解決能力で ある.

MCQ (Multiple Choice Question)  MCQは客観試験の1形式であり，多肢の解答肢 が用意されている.選択肢は単純に真偽(いわゆる

0

， x)を問うのではなく，選択肢聞に「いろいろ違 った段階の正しさのもの

J

があって，その違いを識 別 す る 能 力 ， 判 断 力 を 問 う よ う な も の が 望 ま し い

(one‑best‑answer) . 

共用試験と国家試験

医師になるために受けなければならない客観試験 としては，共用試験と国家試験がある.

共用試験とは「臨床実習開始前の学生評価のため の 共 用 試 験 シ ス テ ム 」 に お け る CBT (Computer  Based Testing)とOSCE (Objective  Structured  Clinical Examination)のことである.実施機関は 全国の医科大学・医学部が創設した医療系大学問共 用試験実施評価機構である.学生が診療参加型臨床

実習 (clinicalclerkship)を行う前の4年次に受け る関門である.

診療参加型臨床実習とは医学生が指導医のもと で，診療チームの一員として実際の診療に従事する.

そのため，一定の医行為が許容される.医学生が診 療への責任が生じる医行為を行うためには，適切な 評価試験を実施して，それに合格した学生には，指 導医のもとで一定範囲内の医行為が許されることと なる.したがって，それ相応の知識が備わっている 事が必要であると共に，医療面接，診療録記載，プ

レゼンテーション技法，診察技法，簡単な手技，お よび臨床推論が出来るようにならなければならな い.そのための評価がCBTとOSCEである.前者 が知識と問題解決能力を評価し，後者で技能と態度 を評価する.共用試験は， 2005年12月から正式に実 施された.合格レベルは実施大学が決定することに なっている.

CBTの問題は，プール問題から出題され，新規問 題は試行問題とされる.難易度調整は項目反応理論¹ でおこない，コンビューターを用いてランダム出題 で実施される.また試験当日には公平に実施されて いることを担保するために共用試験実施評価機構か ら各校に試験モニタ一員の派遣が行われる.さらに，

共用試験実施評価機構は参加大学に対してCBTの 新作問題作成を依頼し，得られた問題については全 問題をブラッシュアップしている.ブラッシュアッ プされた問題がプール問題となる.全問題の解答デ ータを踏まえ，問題の再検証(問題評価)も実施し ている.受験する学生には一人ずつ異なった問題が 画面上に出るが，問題全体の難易度は同一になるよ

うに問題の組み合わせを作っている.

総合試験あるいは卒業試験問題の作成 基本的には医学教育モデル・コア・カリキュラム 教育内容ガイドライン 平成19年 度 改 訂 版 あ る いは新しく改訂された平成21年度版医師国家試験出 題基準3に準じる必要がある.

医師国家試験について

医師国家試験の問題の種類としては，必須問題，

医学総論，医学各論に分けられる.また問題の形式 は一般問題と臨床問題がある.問題数は必須問題(一 般問題と臨床問題含む100題)，一般問題200題，臨床 問題 (200題)の合計500題で行われている.

必修問題の内容

必修問題の内容としては，プライマリケアを主体 に簡単な機器を利用して，医療面接や通常の身体診

察で行える内容(診療所や一般病院での外来入院診 療を想定)，多科にまたがるような基本的な問題内容 (例えば全身性疾患と皮膚病変，眼病変)，あるいは 医の社会的問題や倫理的な問題等が考えられる.詳 細な項目はガイドラインにリストアップされてい る.必修問題の形式としては，必ずA型で作間され ている.

禁忌、肢問題

禁忌肢問題としては，患者の死亡や臓器の不可逆 的な機能廃絶に直結する事項，あるいは医の社会的 問題および倫理的問題が問われる.

試験問題の形式

医 師 国 家 試 験 で はA型 : 単 純 択 一 形 式 (One‑ Best‑Response) ; (a  b c d e)の中から 1つ選 べと， X型:多真偽形式(五肢複択形式)X2 :定数 2肢(a b c d e)の中から2つ選べ，が実際の 試験問題として用いられてきた.しかしながら，平 成21年度度からは，正解肢数を指定しないで解答さ せる問題 (Xn型)，選択肢が5肢以上あり，その中 から正解肢を1つ選択させる問題，さらに実際に計 算させる問題等の新しい型の問題が何聞か出題され ることになっている.

一方， CBT試験では形式タイプA，タイプL，タ イプQ問題が出題されている.

タイプL問題

タイプL問題は， Theme;その問題で扱うテー マ， Options;選択肢(8~15肢)， Lead in ;設問文 でなる.この形式では選択肢数が8~15肢と多いの で，偶然正解に当たる可能性は激減する.さらに設 問文によっては単純想起だけでなく，解釈力，応用 力，あるいは問題解決能力も測定できる.

タイプQ問題

タイプQ問題は臨床問題4連問である.第一聞が 医療面接，第二聞が身体所見，第三聞が検査，第4 聞が病態生理を問う.学生が診療参加型臨床実習に おいて要求される能力として臨床推論ができるかど

うかを問うものである.

一般問題作成の留意事項 (1)  選択肢が名詞の場合

「質問文

J

十「選択枝(名詞

) J

の問題である(図1).

質問文は i~ で正しいのはどれか.

J

とする.選択肢 は簡潔な名詞であるため主に知識の有無を問う問題 として用いられる.

(2) 選択肢が文章の場合

「質問文

J+i

選択枝(文章

) J

の問題である(図2).

医療面接で良好な医師患者関係を築く上で有用なのはどれか。

(a)  干渉 (b)  説 得 (c)  共感 (d)  教育 (e)  誘導

図1 例題:選択肢が名調 (Atype)  診療録の記載について正しいのはどれか。 2つ選べ。

(a)  空欄を作って記載する。

(b)  できるだけ略語を用いる。

(c)  できるだけ外国語を用いる。

(d)  読みやすい字ではっきり記載する。

(e)  治療行為や検査の直後に記載する。

図2 例題;選択肢が文章 (X2type) 

質問文は I~ について正しいのはどれかJ とする.

選択肢の文章は，可能な限り同じ長さとして一行以 内にまとめるようにする.

試験問題作成の心構え

問題の文章は，共通の約束の枠内で作成し，簡潔 で日本語としての暖昧さを残さない明瞭な文章とす る.多数の受験者の誰が読んでも，誤解を招かない 多義性のない文章とする.カルテ用語や学会発表用 語はできるだけ避ける.作題には十分な時間をかけ て多面的に何回も吟味し，細心の注意を払う必要が ある.

問題作成時の一般的注意点

(1)  人名は原語によること. (例:Down症候群)た だしCBTではカタカナ名を括弧内に併記する.

Down (ダウン)症候群.

(2)  薬品名は I~薬」という記載にし，日本医薬品 集(赤本)に準拠する.市販名(商品名)は避ける か，一般名の後に記載する.

(3)  年齢別の呼称については 4週未満:新生児，

4週から1歳未満:乳児， 1 ~12歳:男児，女児，

13~18歳:男子，女子， 19歳以上:男性，女性， と いうように細かく決められている.

(4) 

1

必ず

J

，

1

常に

J

，

1

すべて」等の限定語は使わな

(5)  I~ ことがある.

J

という表現は否定できないの で使わない.

( 6 )  

設問文は原則として肯定文にする.

( 7 )  

設聞が否定形の場合は，選択肢を否定形にしな い(二重否定を避ける).

(8)  原則的に選択肢はすべて対等の重みを持ち，同 一範轄の事象にまとめる.

(9)  一つの選択肢に 2つ以上の内容を含ませない.

例短文日長文の順に配列(治療薬、診断など) (a)  ST合剤

(b)  抗結核薬 (c)  抗真菌薬

(d)  富IJ腎皮質ステロイド薬 (e)  非ステロイド性抗炎症薬 例2:解剖学的高位日低位11頃に配列

(a)  第1頭 髄 (b)  第3頚 髄 (c)  第5頭 髄 (d)  第7頚 髄 (e)  第1胸 髄

図3 選択肢の作成 口腔内所見と疾患の組合せで正しいのはどれか。

(ω 巨 舌 強皮症

(b)  口唇の毛細血管拡張一一一 Behcet病 (c)  口腔肉i貴重富 CREST症 候 群

(d)  う歯の増加 Sjogren症 候 群

(e)  再発性アフタ性口内炎 全身性ヱリテマトーデス 図4 組み合わせ問題

目

的 各選択肢の長さは大体等しくする(長い肢は正 答肢となることが多いため).

(ll)  否定匂を用いる場合はアンダーラインを引く (誤っているのはどれか).

(12)  各選択肢は独立した内容であれば，短いものか ら長いものへ順に，原語であればABCII頂に，検査で あれば侵襲度順に，解剖学的高位 低位順などでき るだけ「論理的順序」とする(図3).

組み合わせ問題(図4)

説明文は.IAとBの組合せで正しい(誤っている) のはどれか.

J

とする.また選択肢については， A，  B各群は同一範障の内容に統一し，症候や身体所見 は最初に配置する方が良い.

臨床問題作成の時の注意点

(1)  先頭に「年齢と性」を記載する(例;64歳の男 性).

(2)  来院理由は

100

を主訴に来院した.

J

，あるい は

100

^{のために来院した.}

J

と表記する.

(3)  現病歴の記載は時系列順に簡潔な言葉で記載す る.

(4)  既往歴・家族歴の記載する事項がなければ「特 記すべきことはない」と書かずに省く.

(5)  現症の記載

「身長

J 1

体重

J 1

体 温

J 1

呼吸数

J 1

脈拍

J 1

血圧

J

の順に記載する.必要がないものは省略してよい.

( 6 )  

検査所見の記載

「尿検査

J 1

血液検査

J 1

血清生化学検査」の順に記 載し，画像検査等は最後に記載する.

1)尿所見:肉眼所見，尿量，比重，浸透圧， pH， 

定性試験結果(蛋白，糖，ウロビリノゲン，ビリル ビン，尿潜血etc)，定量検査(蛋白，糖etc)の順に 記載する.その後ろに尿沈誼検鏡，細菌検査を記載 する.

2 )血液所見はまず血沈，赤血球， Hb， Ht，網赤血 球，白血球(分画を含む)，血小板の順に記載する.

次に止血機能検査(出血時間，全血凝固時間， PT，  PTT…) ，造血能/溶血に関する検査(TIBC，UIBC 

…) ，血液型/輸血関連検査の順に記載する.

3 )血清生化学検査所見は血糖，蛋白(総蛋白，Alb，  蛋自分画，免疫グロプリン…)，含有窒素，脂質，生 体色素(ビリルビン)，酵素 [AST (GOT) ， ALT 

(GPT) ， LDH， ALp...J，電解質，ホルモンの順に 記載する.

4 )免疫学検査については，感染症抗体，自己抗体，

補体，免疫蛋白，腫疹マーカーの順に記載する.

5 )画像検査については，通常，エックス線(単純，

造影)， CT検査(単純，造影)， MRI等の順に記載 する.

問題の評価

多肢選択式問題 (MCQ)形式による出題の利点と しては，一定時間内に多数の問題が出題できるので 信頼性が高い.学生のいわゆる「山かけ」を排除で き，しかも客観的な採点ができることが挙げられる.

しかし，過去に出題された問題ばかりを出題すると，

学生は記憶に頼る勉強をするので，過去に出題され た問題の出題は避けて，暗記型ではなく問題解決型 の出題をすることが必要である.過去に出題された 問題の吟味を充分行って，誤答肢を上手に改変すれ ば，学生の弱点を補強でき，また実習や講義での力 点とする事ができる.

良い試験の条件

良い試験問題の条件としては，いわゆる「山かけ」

や「一夜漬け」を排除して，健全な自己学習を促進 させ，問題解決能力を向上させることが必要である.

そして試験問題による評価の妥当性・客観性・信頼 性が高く，良く学習し理解している学生とそれ以外 の学生とを識別することができなければならない.

知識重視の出題に偏重し，学生の応用力や問題解決 力を問わない出題が多いと，良い成績で卒業しても 実際の国家試験に合格出来ないことになる.難問，

奇聞を排し，暗記のみでは正解に至らないような解 釈や問題解決に重点をおいた出題に心がけるべきで ある.厚生労働省からの国家試験問題作成の依頼も そのような問題を求めている.問題作成方法として はまず試験計画書を先に作り，どの範囲から何を問

う問題を何題出題するかを決定してから，問題を作 るのがよい

試験問題の良質化へ

試験を実際に行って，得られた結果を分析する必 要がある.実際には正解率だけでは，その問題は学 生にとって簡単なのかあるいは難しいのかしか解ら ない

1 .識別係数(DiscriminatingIndex) 4 

良く出来る学生(良く勉強している)とそうでな い学生(勉強していなし>)を識別する.‑1から十1 の聞に分布し，

0

の場合，良い学生=悪い学生であ

り，その識別はできない. 1では，良い学生の全て が正解し，悪い学生の全てが間違っていたことにな る.さらにOから一 lでは，悪い学生の正解率の方 が高いことになり，良い問題とは言えない.そのた め個々の問題において， 0.20以上になるよう努力す る.そのため選択肢に誤答肢をうまく組み込むこと によって，受験者を惑わせて，良不良を区別する事 が必要である(distracters).誤答肢のいずれも最低 2 %以上の受験生がが，必ず弓￨っかかるようにする ことが良問への第一歩である.

例えば，識別指数が0.02で 正 解 率92%で あ れ ば distracterが効いていないことになる.一方，識別指 数0.04で正解率22%であれば，選択肢全体に分布し

難易度コード

2:正解もしくは最低の学生が、正解と区別出来な い選択肢(大いに同情出来る)

1 最低の学生が、間違いに気付くかもしれないし、

気付かないかもしれない(多少同情出来る) O これを選ぶ学生は許せないという選択肢

(全〈同情出来ない)

注)本ソフトでは正解②を表示できない。そのため限りなく正解に 近い2と区別できないという難点があることを承知しておいて欲しい

図5 MPL (Minimal Pass Level ;最低合格水準) を求めるための難易度コード

• 5つの選択肢に難易度コードをつける

a)  : 1  b): 2 c): 2 d)・1 e)・Oとする

‑ 最低の学生が正解b)を当てる確率を計算する

=最低合格指数:MinimalPass  Index  (MPI  ) 

• MPI= 2 / (1+ 2 +2+1+0)  =0.33 

‑これを各問題毎に計算し、総和した結果がMPLである。

図6 MPI (Minimal Pass Index ;最低合格指数) とMPL

ているので設聞に問題ありとなる.一方，識別指数 が 0.15で正解率25%であればほとんどが当てず、っ ぽうで正解したことが疑われる.

MPL ; Minimum Pass Level (最低合格水準)4，5 

イリノイ大学医学部教育開発センターによって開 発された.許容可能の最低能力の学生が正答を選ぶ 可能性を推定するという理論に基づいている.卒業 試験や医師国家試験のような資格認定試験では，最 低限度の医学的知識と臨床能力を有しているか否か

を判定することが要求される.

5つの選択肢がある時20%得点出来る確率があ る.したがって MPLを20‑100%の聞に設定する.

具体的な方法としては，まず選択枝をよく吟味し て評価をする事が必要である.その後，選択肢それ ぞれに難易度をつける.難易度コードから M PI; Minimal Pass Index (最低合格指数)をつけて M PL

を計算する具体的な方法を図5，6に示した.

修正イーベル法6

問題の難易度と必要度から合格水準を設定する.

難易度を選択肢ではなく，問題全体として判定し，

必要度は到達目標やその後の学習などとの関連から どれほど重要かを判定する.MPLはMCQにしか 使えないが，修正イーベル法は論述問題にも適用出

総合試験入力画面

附腫温...

ーえ ん 般 の 舵 i '11.れ、 附同改，，，‑‑'.ゾ トkl1i..:J

酎 1 作成日 2曲8.5.12出題分類E.IiG:二二二コ11:泊料 IE!J行匪霊宝E二コ凶酎

項目 刷 。仲 山 川⑨叶 記 局O佐 川 叫Hail'J!.{f:r'!Xi，"‑tJh¥i: 

分史話 F白人与:，‑!戒備品V鳴 を 1 "!，;I;(; rMむl胃矧と・3仰 l 

ヘ ド"11川 崎 恥

r  ‑ 自分緩め最後川こ『定鎗梼みの値なしIを表示させてください

¥1< (J ，'.‑:>18ー0に 求められる傘カt?'0+駒r・特，橿駅 目 問題 <・の等審金収纏訓"について正しいのは2ずれか.

048字まで}

関 連畑町・のE雪期に使用Lて<t:" ~1

3.lu...蜜庄は犬舎〈上昇する b心術はエネルギーを消費しない.

c房重弁の開放によって鍵了する.

d大動脈弁の問.によ勺て始まる.

IIPI 2: E刷出 'Ht~ ， O闘附

.20100  0101.0 

O~ 01 

. 。

O~ 01 80 

来るので有用性が高い.また難易度と必要度を複数 の人が判定すれば，試験問題の質が評価されている ことになる.

近畿大学総合教育委員会が使用している問題入力 ソフトでは，試験問題の入力画面(図7)に，出題 分野， 出題科，出題者，連聞の有無，画像の有無，

問題種別， カテゴリー， 項目，MCQの分類，求めら れる学力，問題文，設問，答え，Key Word，作文の ねらいおよびMPI等を入力できるようになってい る.各科で作成された試験問題は，後日行われる総 合教育委員会で問題の吟味が行なわれるが，さらに その時に吟味画面で問題の必要度と難易度を入力し ている.このソフトでは，そのことによってMPLや 修正イーベルが簡単に計算され表示されるようにな っている(図8).試験問題を吟味しチェックするこ とにより，いわゆる難問，奇聞を減らすことができ る.また，必要度が高く，難易度のほどよい問題を 作る目安ができるので，さらに試験問題の質の向上 が期待出来る.

ま と め

試験問題作成の実際について述べた.問題作成に は作成のための決まりがあるので，まずそれを理解 してから作成する.絶えず過去聞の結果を吟味し，

類似性をチェックし，弱点を発見するような誤答肢

逮閑の有鰍・なしOあり

酬 にこコ

・周0)."").，札引"ぃ

ゐ占 ー

• IPに・ ι~_;.::1 r  JりuKB〆 人 !

ノ

哨 ι'(1模区二コ

e. ~g使収縮織の儀後に麟 U '..、奮が闘こえる. 0201.0  _{列 的 】 ?} 互角.[三二3 所 要 時 間 ⑥J02 分 1け 加川州 市 て花 ω 3ト?ぬが適切

K~y ""，r也 等 容 検 奴 繍 期

刑罰の 心眼の・"写後取締"はZ暗室弁、半月#ともに閉鎖しており その後半月弁が燭厳して駆出が始怠るまで ねらい の崎将である g視が同じで圧が急隊に上昇する待相でありー心筋はエネルギーを欄'ーする.半月弁の

測触によって終了する .."，全般繍矧のはじめに虜t奮が巳a医される.

番号 2 作成日2醐 5.12 陸空空コ 出問者

求 め ら れ る 学 旭 分析/統合/~1ζ (J.I ，  ;;J t(~ ，~ 宅捜L 内徒主 む 圃の..容性 収 縮 期 に つ いて宜 しL、のはどれか.

問 題 IU: 

四...司障の燈e・支字以内jめローマ~で 入 札 制 に 制 を つ " る 例 叫l胸

総合教膏委員会 ver.2.0 

沼署管偶} 姐" ^刈見出1<1)期i.';t:.τ，  a左心'o:圧は 大きく上昇する，

・

^{20 1 00}

b心 筋 は エ ネ ル ギ を消費しない. 020180 

この間.の所要崎町

c房 禽 弁 の開放によって終了する 0201・

d大動綜弁の閉鎖によって始まる. 0 2 0 1 8   ^{全体の時間 見}

，，'専務性収結期の般後に自信2心膏が聞こえる. 0201.0  互角曜a 

必 要 度 . 姦 智O震.̲

o . .

^{，:，o.flr::w.nJイ 弐ノι}

鍵品目佐綴灘週広場開1・~iO冒鳳ご 70  ピ著作ご刈号^μ 、問祖はあれtせν

図7 総合試験問題入力画面(総合教 育委員会)

図8 試験問題吟味画面(総合教育委 員会)

を作成し，問題の質を高めていく努力が必要である.

そして試験問題作成後の試験問題の評価が良間作成 に最も重要なのである.

文 献

1.高橋正視編.項目反応理論入門 新しい絶対評価東 京:イデア出版局， 2002 

2.医学教育モデル・コア・カリキュラム 教育内容ガイドラ イン 平成19年度改訂版

3.平成21年度版医師国家試験出題基準・ブループリント.

2008年医道審議会医師分科会医師国家試験改善検討部会 4.日本医学教育学会監修.医学教育マニュアル4.評価と試

験.篠原出版，東京， 1982， 24‑27 

5.日本医学教育学会監修.医学教育マニュアル1.医学教育 の原理と進め方.篠原出版，東京， 1982， 92‑94  6 牛場大蔵，畑尾正彦，堀原ー，山下文雄，石井哲夫，植

村研一，岡島道夫，尾島昭次，酒井紀，高久史麿，田中勧，

真島英信(1985)試験の合格水準の理論と実際.医学教育;

16: 175‑182