The authors declare no con‰ict of interest. 摂南大学薬学部(〒5730101 大阪府枚方市長尾峠町 45番 1 号) e-mail: yasuhara@pharm.setsunan.ac.jp 本総説は,日本薬学会第 133 年会シンポジウム EF3 で発表した内容を中心に記述したものである. ―Symposium Review―
チーム基盤型学習(Team-based Learning; TBL)とピア評価がもたらす実践型化学教育
安原智久,小西元美,西田貴博,串畑太郎,曽根知道, 栗尾和佐子,山本祐実,西川智絵,柳田一夫,中村三孝Practical Chemistry Education Provided by Team-based Learning (TBL)
and Peer Evaluation
Tomohisa Yasuhara,Motomi Konishi, Takahiro Nishida, Taro Kushihata, Tomomichi Sone, Wasako Kurio, Yumi Yamamoto, Tomoe Nishikawa,
Kazuo Yanada, and Mitsutaka Nakamura
Faculty of Pharmaceutical Sciences, Setsunan University; 451 Nagaotoge-cho, Hirakata, Osaka 5730101, Japan.
(Received August 27, 2013)
Learning chemistry is cumulative: basic knowledge and chemical calculation skills are required to gain understand-ing of higher content. However, we often suŠer from students' lack of learnunderstand-ing skills to acquire these concepts. One of the reasons is the lack of adequate training in the knowledge and skills of chemistry, and one of the reasons for this lack is the lack of adequate evaluation of training procedures and content. Team-based learning(TBL) is a strong method for providing training in the knowledge and skills of chemistry and rea‹rms the knowledge and skills of students of vari-ous levels. In our faculty, TBL exercises are provided for ˆrst-year students concurrently with lectures in physical che-mistry and analytical cheche-mistry. In this study, we researched the adoption of a peer evaluation process for this participa-tory learning model. Questionnaires taken after TBL exercises in the previous year showed a positive response to TBL. Further, a questionnaire taken after TBL exercises in the spring semester of the current year also yielded a positive response not only to TBL but also to peer evaluation. In addition, a signiˆcant correlation was observed between the im-provement of students' grades in chemistry classes and the feeling the percentage (20%) of peer evaluation in overall evaluation low(logistic regression analysis,p=0.022). On the basis of the ˆndings, we argue that TBL provides a gener-ic, practical learning environment including an eŠective focus on learning strategy and evaluation of knowledge, skills, and attitudes, and studies on the educational eŠects of TBL and peer evaluation.
Key words―team-based learning; peer evaluation; ˆrst-year education; chemistry education
はじめに 6年制により大きく転換した薬学教育では,薬剤 師を目指す学生に,基礎的な知識・技術はもとよ り,豊かな人間性,高い倫理観,医療人としての教 養,課題発見能力・問題解決能力,現場で通用する 実践力などを身につけること1)を求めている.各大 学では様々な取組24)によりこれらの目標に学生が 到達できるように工夫している.一方で,大学入学 者の多様化と学力の変容5)により,初年次における 薬学の基礎である物理学・化学・生物学教育のあり 方にも多様な試み68)がみられる. その中でも,化学系の学習は,基本的な知識や計 算の技能を活用し,より高次の理解に至ることを繰 り返す中で化学や物理化学,分析化学に関する問題 解決能力を養っていく.しかし多くの学生は,暗記 と慣れで化学の問題を作業的に解くことを安易に選 択するため,問題解決のレベルに至ることができな い.理想的な化学の学習と実際の学生の行動の間に あるずれの原因の 1 つに,学生が受ける教育の中で 実際に化学の知識や技能を使って問題を解決し,そ のプロセスや成果を評価される場が学生に提供され ていないことが挙げられる.この問題点を解決する 手法として,チーム基盤型学習(team-based learn-ing, TBL)が挙げられる.TBL は 1980 年代にオク ラホマ大学にて経営学を教えていた Larry
Michael-Fig. 1. Program of Exercises Using Team-based Learning sen(現セントラルミズーリ州立大学経営学教授) が,学習者主体の能動的学習形態として開発した教 育方法9,10)である.TBL は,医療系教育に幅広く導 入され高い教育効果を上げ始めている1116)が,薬学 部で本格的に導入した報告17,18)はまだ少ない.この TBLを薬学部の基礎科目である化学に適用するこ とで,学生に化学の具体的な実践の場を提供し,学 生間相互教育により様々な理解レベルの学生に問題 解決に必要な知識と技能を再確認させ,学生の参加 姿勢まで含めた評価を行うことが可能になると考え られる.本学では,1 年生に対して,講義と並行し て,前期に「化学」,後期に「物理化学」及び「分 析化学」の演習を TBL により行った.TBL が化学 教育に知識・技能・態度にわたる学習方略と評価を 含んだ包括的な実践型学習環境を提供した事例を紹 介するとともに,本学の 1 年間の TBL とその中で 行ったピア評価がもたらした教育効果に関する考察 を報告する. 方法 TBL は,個人学習,個人テスト,チームテスト, アピール,解説,応用演習の 6 つのプロセスからな る.この第 1 段階の個人学習のプロセスを,講義を 全く行わず完全に自己学習とする方式は,現在の日 本の学生の学習習慣との乖離が大きいため,TBL そのものに対する学生の拒絶が懸念される.本学で は,Michaelsen の提唱した TBL の原則に反するが, Fig. 1に示すように先に講義を行い,その講義内容 に関する演習を TBL にて行う方式を採用した.し たがって,個人学習のプロセスは,既に講義科目で 学習した範囲をあらかじめ指定し,その部分の内容 を十分に復習することとした.2012 年度入学の 1 年生 240 名を 120 名ずつ 2 クラスに分けて実施し, 各クラスとも前期は基礎の「化学」の講義を行い, 翌週以降に TBL による演習(以後,TBL 1 と呼ぶ) を実施した.前期の「化学」の講義には,コースの 中ごろに中間試験を,コース終了後に期末試験を実 施した.TBL 1 のコースでは,コースの 3 分の 1 毎にピア評価を実施し,コース終了後に期末試験を 実施した.後期も同様に,「物理化学」と「分析化 学」の講義を行い,翌週以降に TBL による演習 (以後,TBL 2 と呼ぶ)を実施した.「物理化学」 と「分析化学」の講義では中間試験を実施していな い.「化学」の講義,TBL 1,TBL 2 のコースは同 じ教員が担当し,「物理化学」及び「分析化学」の 講義はそれぞれ別の教員が担当した. TBL のグループ編成にあたっては,1. TBL 1 で は入学直後に行ったチーム編成用の小テストの結果 を,TBL 2 では前期の化学及び物理学の成績を基 に各チームの成績が均一になること,2. 男女比の 偏りが生じないようにすること,3. チーム内での 小派閥ができないように学籍番号の近い者が異なる チームになることを考慮した.TBL 1 実施中のグ
Fig. 2. Scratch Sheet Used on the Group Readiness Assurance Test ループメンバーの変更は行わず,TBL 2 を始める 際には,クラスとグループの再編を行い,新しいグ ループメンバーで TBL 2 を行い,TBL 2 実施中の グループメンバーの変更は行わなかった. TBL 1 及び TBL 2 の各回のプログラムは,選択 肢が 5 つで正答が 1 つの多肢選択式による 56 問 の個人テスト(individual readiness assurance test; IRAT)が 1520 分,グループがディスカッション を行い IRAT と同じ問題に取り組むチームテスト (group readiness assurance test; GRAT)が 3040 分, GRAT の正解状況に合わせて行う解説が 2030 分 を基本としている.問題の解説を十分に行わないと 学生から不満が出るため解説に時間をかけている. そのため,応用問題は 1 コマ 90 分中で行うことが 難しい場合が多く,時間配分に余裕がある回のみ行 った. IRATと同じ問題に GRAT で取り組むため,問 題が簡単すぎるとグループ内の化学の得意な学生の みが活躍しディスカッションが起こらなくなってし まうため,化学領域が得意な学生でも満点がとれな いようなやや難易度の高い問題を作成した.また, ディスカッションにおいて,全く意見のない学生は 発言をしづらくなるため,IRAT の回答には学生は 2つまで選択肢を選ぶことができ,1 つ選んで正解 すれば 2 点,2 つ選択して正解すれば 1 点となる回 答方法を採用して,自分の選択を意識し易いように した. GRATの 回 答 に は Fig. 2 に 示 し た ス ク ラ ッ チ シートを用いた.TBL に利用可能な市販品のスク ラッチシート19)も存在するが,正答位置の設定の自 由度の高さなどの理由から本学では自作したものを 使用している. ピア評価及び自己評価は Fig. 3 及び Fig. 4 に示 した評価項目を 10 段階で行った.評価項目に関し ては,後述する理由により前期の TBL 1 と後期の TBL 2で一部変更した.本学では 1 年生で行う small group discussion(SGD)でもピア評価を導入4)し ており,そちらで先に詳しい説明を行っているの で,主に SGD で行うピア評価との相違点について, TBL1 での 1 回目のピア評価を行う際に,ピア評価 の目的,意義,項目及び評価基準,後述するフィー ドバックに関して説明を行った.ピア評価を実施し た翌週には,Fig. 5 に示す学生個人毎の資料を作成 し,学生に返却してフィードバックを行った.フ
Fig. 3. Criteria for Peer Evaluation in TBL 1
Fig. 4. Criteria for Peer Evaluation in TBL 2
ィードバック用の資料には,ピア評価及びコメント を行った学生を特定できないように処理した上で, その時点までの IRAT,GRAT,応用,アピールで の獲得得点,現時点での成績の目安,ピア評価及び 自己評価の数値,メンバーからのコメントを記載し た.なお,後述の理由により,TBL 1 の 3 回目の ピア評価前に再度,ピア評価の目的と意義を繰り返 し説明した. 前期の TBL 1 及び後期の TBL 2 の総括的評価に おける割合は,IRAT 20%,グループ得点(GRAT の得点+アピールによる加点+応用問題の得点)30 %,ピア評価 20%,期末試験 30%とした. 前期の TBL 1 及び後期の TBL 2 のコース最後の 授業時に Fig. 6 及び Fig. 7 に示すアンケートをそ れぞれ実施した.アンケート実施に際しては,学生 に対して次のことを教室にて文章と口頭で説明した. 1. 研究の目的がこれ以降の TBL やカリキュラムの 改善にあること,2. アンケートへの協力の有無や
Fig. 5. Feedback Sheets for Peer Evaluation 回答内容がいずれの科目の成績にも影響することが ないこと,3. 学生それぞれの自由意思で,記名で アンケートに答える,無記名でアンケートに答え る,アンケートに答えないという選択をできること, 4. 記名した場合は,関連科目や TBL の成績とアン ケート結果を,研究及び TBL の演習に無関係の第 三者が連結した後,匿名化し,関連する科目の成績 が決定した後に研究者に手渡すこと,5. 研究成果 は学会及び論文等で公開する予定であるが,公開す る際には個人が特定されることはないこと.アン ケート用紙配布後,研究及び TBL による演習に無 関係の第三者が回収を行った. 得られた結果に対して,群間の順位変数若しくは 名義変数の比較には Fisher の正確確率検定を,連 続変数に対する順位変数若しくは名義変数の比較に は Logistic 回帰解析を用いて有意差の検討を行っ た.統計解析には JMP 9.0.3 を用いた. 結果 1. アンケート結果 教育フォーラムでは講演 時間の関係から省略した,アンケート結果の詳細も 本論文には記載する.TBL 1 及び TBL 2 後に学生 に行ったアンケート結果を,全質問項目に回答して いるものを有効回答として Table 1 にまとめた.学 生は,化学,分析化学,物理化学を理解するために 学ぶ方法として 86%以上が肯定的に答えており, TBL を高く評価していることが分かった.また, TBLに楽しく参加(80%以上),積極的にグループ の議論に参加(70%以上)している割合が高く,講 義よりも理解し易いと答えた.IRAT は問題の難易 度が高いと感じているが,同じ問題を GRAT で取
Fig. 6. Questionnaire on TBL Used in TBL 1
Fig. 7. Questionnaire on TBL Used in TBL 2
り組んだ場合は適切であると答えた割合が最も高か った.ピア評価や TBL による演習が総括的評価の 70%を占めることによる学習態度への影響も肯定的 な回答が多かった.また,総括的評価において, IRAT 20%,グループ得点 30%,ピア評価 20%, 期末試験 30%の配分割合も適切であるとの回答が 60%以上を占めた.両アンケートに共通する項目で はどちらのアンケート結果でも共通した傾向がみら れた. TBL 1と TBL 2 を比較した場合,「講義と TBL どちらが理解しやすいですか?」( p=0.016,「TBL」 が増加),「IRAT の存在は予習をするきっかけにな りますか?」(p=0.006,「なる」が増加),「TBL の 効果的な実施にピア評価は必要だと思いますか?」 (p=0.042,「必要」が増加),「演習結果が成績に占 める割合が低くても演習態度は変わりませんか?」 (p=0.005,「変わる」が増加)の設問に対する回答 に有意(Fisher の正確確率検定により p<0.05)な 変化がみられた.ほかにも,「ディスカッションに 積極的に参加した」,「個人演習より TBL が理解し やすい」,「ピア評価は学習意欲を高める」,「ピア評 価がなければ演習態度が変わる」,「TBL は効果的 な学習法だ」,「ピア評価を廃止すべきではない」な どの意見が TBL 2 後のアンケートの方が増加する 傾向(Fisher の正確確率検定により p<0.1)がみ られた. さ ら に , TBL 2 終 了 後 の ア ン ケ ー ト で 尋 ね た 「十分な学力が身につくと思いますか?」という問 いかけでは,講義のみ,若しくは自己学習のみでは
Table 1. Responses to Questionnaire on TBL (Figs. 6 and 7) No.
Questions
Questionnaire after
TBL 1 (n=207) Questionnaire afterTBL 2 (n=220) Fisher's exact test (TBL 1 vs. TBL 2)
TBL 1 TBL 2 5 4 3 2 1 5 4 3 2 1
1 for understanding of chemistry 107 78 18 1 3
2 for review of chemistry 104 75 24 2 2
1 for understanding of analytical chemistry 105 87 20 3 5
2 for understanding of physical chemistry 105 91 19 4 1
3 enjoyable participation 121 55 26 3 2 128 69 21 2 0 p=0.423
4 discussion activity 80 71 46 8 2 98 86 31 5 0 p=0.069
5 lecturevs. TBL 41 67 60 29 10 65 81 53 16 5 p=0.016
6 individual exercisesvs. TBL 82 66 42 11 6 104 74 34 7 1 p=0.069
7 IRAT for preparation 87 75 33 7 5 123 71 21 5 0 p=0.006
8 di‹culty of IRAT 8 12 79 83 25 7 17 83 86 27 p=0.945
9 about scratch card 118 59 22 6 2
9 spring semestersvs. fall semester 65 59 65 18 13
10 di‹culty of GRAT 10 29 100 55 13 12 32 119 46 11 p=0.637
11 peer evaluation and motivation 56 79 58 12 2 71 101 43 4 1 p=0.089
12 necessity of peer evaluation 50 69 71 10 7 59 96 54 9 2 p=0.042
13 peer evaluation and attitude 35 40 61 28 43 29 65 59 34 33 p=0.089
14 TBL: 70% of grade 56 77 54 17 3 64 92 54 8 2 p=0.294
15 grade ratio and attitude 33 41 57 32 44 28 72 54 41 25 p=0.005
16 eŠectiveness of TBL 68 78 51 5 5 76 97 44 0 3 p=0.082
17 abolition of TBL 6 11 37 58 95 6 13 30 70 101 p=0.767
18 abolition of peer evaluation 9 17 66 51 64 5 14 48 68 85 p=0.054
19 IRAT: 20% of grade 14 19 157 12 5 12 32 157 15 4 p=0.471
20 group score: 30% of grade 11 23 140 28 5 9 28 165 13 5 p=0.092
21 peer evaluation: 20% of grade 22 37 134 12 2 17 37 153 9 4 p=0.639
22 exam: 30% of grade 15 17 141 28 6 13 25 165 14 3 p=0.064
23 eŠects of peer evaluation 47 92 72 7 2
24 application of peer evaluation for groupwork 40 69 71 28 12
25 application of peer evaluation for practice 40 45 77 39 19
26 enough with self-learning 19 38 66 62 35
27 enough with lecture 15 28 65 76 36
28 enough with self-learning+TBL 46 84 74 13 3
29 enough with lecture+self-learning 46 73 84 15 2
30 enough with lecture+TBL 56 75 79 8 2
p<0.1, p<0.05. 「思わない」と答えている割合が高いのに対して, 講義,自己学習,TBL のいずれかの組み合わせで は「思う」と答えている割合が,いずれの組み合わ せにおいても有意(Fisher の正確確率検定により p <0.001)に高かった. 2. ピア評価 TBL 1 においてピア評価を実施 した際に,一部学生より,高得点をとりグループの 得点源として貢献している点がピア評価にあまり反 映されていないとの異議を受けた.そこで,ピア評 価は,多角的な評価としての観察記録を学生間相互 で行うこと,多角的な評価の中には,適切なコミュ ニケーションやグループの雰囲気の構築はもちろん のこと,得点への貢献も含まれること等を,TBL 1 の 3 回目のピア評価を実施する際に改めて説明した. また,TBL 1 終了時のアンケートに,ピア評価 の評価項目としての「準備」は「貢献度」に含まれ る ,「 準 備 」 は IRAT で 測 定 で き る ,「 配 慮 」 と 「柔軟性」を区別し難い,という指摘をうけて, TBL 2のピア評価では「準備」と「柔軟性」を評 価項目から削除し,「雰囲気」と「教育性」を導入 した. TBL 1 及 び TBL 2 で 3 回 ず つ 行 っ た ピ ア 評 価
Table 2. Average and Correlation Coe‹cient of Peer Evaluation Peer Evaluation
(PE) Average±S.D.
correlation coe‹cients
PE x-1 PE x-2 IRAT GRAT IRAT+GRAT
TBL 1 PE 1-1 7.8±1.0 0.025 0.030 0.044 PE 1-2 7.6±1.0 0.706 0.025 0.064 0.051 PE 1-3 7.8±1.0 0.121 0.074 0.359 0.325 0.432 TBL 2 PE 2-1 7.7±0.9 0.385 0.000 0.244 PE 2-2 7.8±0.8 0.838 0.383 0.025 0.281 PE 2-3 8.6±0.8 0.583 0.707 0.306 0.155 0.311 (Fig. 1,以下それぞれ,ピア評価 1-1~2-3)の平均 と,同一 TBL 内で行った他のピア評価や IRAT,
GRAT得点及び IRAT と GRAT の合計との相関係
数を Table 2 にまとめた.ピア評価の平均点は 10 点中 7.68.6 と大きな推移はなかった.ピア評価同 士の相関係数では,ピア評価 1-1,1-2 は,IRAT, GRAT,それらの合計,ピア評価 1-3 と相関がみら れ な か っ た . 一 方 , ピ ア 評 価 1-3 は , IRAT , GRAT,それらの合計と相関がみられた.TBL 2 におけるピア評価 2-1~2-3 では,IRAT と相関がみ られ,TBL 2 でのピア評価同士で高い相関がみら れた. 3. ピア評価と学生アンケートの比較 各 TBL の最後のピア評価であるピア評価 1-3 とピア評価 2-3 とアンケート結果による Logistic 回帰解析を行 い,特徴のある結果を Fig. 8 に示した.TBL 1 終 了時のアンケートとピア評価 1-3 では,有意差はあ まりみられなかったが,ピア評価の高い学生は, 「TBL に楽しく参加した」,「ディスカッションを積 極的に行った」,「ピア評価は必要だ」,「TBL は効 果的だ」と答えた傾向がみられた.TBL 2 終了時 のアンケートとピア評価 2-3 では,前述の項目とそ れぞれ有意な相関(順に,p=0.0173,0.0005,0.0004, 0.0022)がみられた. 考察 本 研 究 で は , 1 年 間 に わ た る 化 学 系 科 目 で の TBL の実施と半年毎のアンケート結果から,本学 の 1 年生における TBL への反応と実際に体験した 上での意識の変化を読み取ることができる.前期終 了時に行った TBL 1 のアンケート結果からは, TBLを実際に体験した学生が,有用性を認め好意 的に受けとめていることが分かった.TBL を実施 する際に懸念事項として挙げられるピア評価に関し ても,ほとんどの学生が必要性と学習意欲の向上に 有用であることを認めている.さらに後期の TBL 2 終了時に行ったアンケートからは,TBL 1 終了時 よりも 1 年間通じで TBL を行ったことにより,学 生は TBL やピア評価に対して好意的に受けとめて いることが多くのアンケート項目から明らかになっ た.1 年間,常に TBL を行うカリキュラムの設定 に当たっては,学生に TBL という方略や参加型学 習そのものに疲労感を与える可能性もあったが,長 期の TBL の実践によりその有用性をより実感でき たものと考えられる. TBL 1におけるピア評価で,平均点はあまり変 わらないが,ピア評価 1-1,1-2 とピア評価 1-3 と の間での相関がなく,それぞれの IRAT や GRAT の相関も大きな差がある.この間で,学生に対し て,ピア評価に対する説明を再度したことから,ピ ア評価の運用においては,ピア評価の目的や意義, 評価基準を学生にしっかりと説明することの重要性 が示唆された.後期の TBL 2 におけるピア評価 2-1 ~2-3 では,各ピア評価間及び IRAT や GRAT と の間に安定した相関を示しているため,学生の中で の評価基準が大きく変わっていないと考えられる. なお,ピア評価 2-3 のみ平均点が高いのは,学生が 成績を意識したからと考えられるが,グループ内で 申合せて一部のグループのみが高い点数をつけるこ とはなかったので,評価自体に問題はないと考えら れる. Figure 8の結果より,高いピア評価をグループメ ンバーから受ける学生は,TBL を積極的に楽しみ, ピア評価と TBL の有用性を高く評価している.こ の傾向は,半年間の TBL を経た後よりも,1 年間
Fig. 8. Logistic Regression Analysis of Peer Evaluations and Questionnaire Data の TBL を経験した後の方が有意にあらわれている. TBLを長期継続的に行うことで TBL やピア評価の 意義を学生は実感していることが示唆された. 今回,本学で 1 年生に対して,1 年を通じて基礎 化学の演習として TBL を導入した.アンケートの 設問項目 2630 からも分かるように,学生は実際に 1年を通して TBL という学習方略の中で自己学習 と実践,そして評価を繰り返すことで,学力が身に つく学習方法として TBL を受け入れることが明ら かになった.TBL の効果的な実施には必須だと言
われるピア評価も,繰り返し行うことで学生はピア 評価に慣れ,安定した評価基準をもって評価するこ とも示唆された.また,TBL を楽しみ,ディスカ ッションを積極的に行い,参加する意義を感じた者 ほ ど 高 い ピ ア 評 価 を 得 ら れ る 雰 囲 気 を , 1 年 間 TBLに触れる過程で,学生が学生ら自身により形 成したと考えられる.本学では 2013 年度入学生に も同じカリキュラムで TBL を実施し,研究を継続 している.本研究で得られた TBL を効果的に実施 するための知見が,単一学年のみの結果か汎用性が あるものかを,今後の研究で見極めていきたい. REFERENCES
1) Ministry of Education, Culture, Sports, Science and Technology. ``Yakugakukyouiku no kaizen/jujitsu ni tsuite.'':〈http://www. mext.go.jp/b_menu/shingi/chukyo/chukyo0 /toushin/04021801.htm〉, cited 17 August, 2013.
2) Sato A., Morone M., Azuma Y., Yakugaku Zasshi, 131, 13691382 (2011).
3) Katoh M., Ohtsu S., Matsunaga T., Nadai M., Yakugaku Zasshi, 130, 16551661(2010). 4) Yasuhara T., Yamaguchi T., Sone T., Yanada
K., Nakamura M., Kurio W., Nishikawa T., Yamamoto Y., Maeda S., Yakugaku Zasshi, 132, 11791188 (2012).
5) Ozawa K.,Farumashia, 47, 393398(2012). 6) Sato A., Morone M., Azuma Y., Yakugaku
Zasshi, 130, 10411052 (2010).
7) Ohi H., Saguchi K., Miura N., Tobe T., Yaku-gaku Zasshi, 130, 16431646 (2010).
8) Yasuhara T., Kawasaki N., Yagi H., Itoh E.,
Kawase A., Otori T., Wada T., Matsuyama K., Iwaki M., Yakugaku Zasshi, 130, 1647 1653(2010).
9) Michaelsen L. K., Parmelee D. X., McMahon K. K., Levine R. E., ``Team-based Learning for Health Professions Education,'' ed. by Seo H., BIOMEDIS International, Ltd., Tokyo, 2009, pp. 3107.
10) Miki Y., Seo H.,J. Nippon Med. Sch., 7, 20 23(2011).
11) Miki Y.,Kochi Univ. Rep. Educ. Res. Activ., 12, 513 (2008).
12) Ohara K., J. Nurs. Res. Soc. Kochi Univ., 3, 3744 (2009).
13) Takada K., Suzuki T., Akita K., Nara N., Tanaka Y., Med. Educ., 42, 153157 (2011). 14) Okada H., J. Soc. Psycho. Med., 52, 1008
1013(2012).
15) Hamada H., Takahata T., Mishima H., Bull. Kochi Gakuen Junior College, 43, 18 (2013). 16) Saito M., Saito F., Bulletin of Faculty of Nursing, Hirosaki Gakuin University, 8, 3545 (2013).
17) Yasuhara T., Nishiwaki K., Med. Educ., 41, Abstracts of papers, the 42nd Annual Meeting of the Japan Society for Medical Education, Tokyo, July 2010, p. 127.
18) Yasuhara T., Nishiwaki K., Abstracts of pa-pers, the 131st Annual Meeting of the Phar-maceutical Society of Japan, Shizuoka, March 2013, No. 4, p. 338.
19) Epstein Educational Enterprise. ``Immediate Feedback Assessment Technique.'':〈http:// www.epsteineducation.com/home/〉, cited 17 August, 2013.