Moodle機能を活用したプレゼンテーション活動に対するルーブリックによるピア評価支援システムについて

全文

(1)Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. Moodle 機能を活用したプレゼンテーション活動に対するルーブリックによるピア評価支援システムについて亀田真澄1,a). 宇田川暢2,b). 概要：工学系大学初年次で学習するプレゼンテーション活動（スライド・シナリオ作成，口頭発表，質疑応答，ピア評価を含む活動）において，Moodle のオンライン小テスト（Quiz）を活用して，ルーブリックによるピア評価を実行させるための運用システムに関する研究成果を発表する．. の物理・化学実験レポートを元にグループとしてまと. 1. はじめに大学教育においてプレゼンテーション能力，ディベート. めたスライド・シナリオを作成する．【Do】発表時活動として，学習者は作成したスライドを元. 能力または評価能力を身につけることは非常に重要であり，学習内容が科学的，客観的，協調的，かつ簡便的であ. にグループとして発表・質疑応答を行う．【Check】発表後活動として，学習者は異なる実験テーマ. ることを忘れてはいけない．. のプレゼンテーション活動に対してピア評価を行う．. さらに ICT（Information and Communication Technol-. 【Act】学習データ分析として，教師は LMS による学習. ogy），BYOD （Bring your own device），LMS （Learning. データの集計結果をもとにピア評価に対する信頼性と. Management System）または LA （Learning Analytics）. 妥当性について幾何学的な可視化図形によって分析. を利活用した AL （Active Learning）であることは合理的. する．. かつ高度な学習成果を導くことに直結する．これらの学習環境を取り入れた授業の実践例を紹介す. 2. 本システムの活動背景について. る．すなわち工学系大学の初年次で受講する「コンピュー. この章では本システムの活動背景について解説する．. タ演習」授業において，コンピュータ・リテラシーを習得. 山陽小野田市立山口東京理科大学（以下，「本学」とい. 後の知識・能力を実践するプレゼンテーション活動を紹介. う）では，全キャンパス内で利用できる無線 LAN 環境が. する．この活動では，グループ活動によるスライド・シナ. 整備されており，さらに全学生が個別にノート PC を所持. リオ作成，口頭発表，質疑応答を行い，さらに個人活動に. して学習することを推奨している．またほとんどの受講生. よるピア評価を行う組み合わせで構成されている．. がスマホ等のモバイル端末を大学生活において活用してい. 本発表は，本研究会のテーマ「教育・学習データの収集/. る状況である．これらの学習環境をプレゼンテーション活. 活用とその理解」に沿うように，プレゼンテーション活動. 動における ICT と BYOD の役割として利活用している．. における学習データの収集/活用を行うことができるシス. また第一著者は，担当する授業に対する専有サーバを研. テムの解説であり，また前回の研究会での藤井らの研究発. 究室内に設置し，第二著者が専有サーバを遠隔管理する環. 表 [1] に類似した評価支援システムの取り組みである．. 境下で，専有サーバを担当授業に対する e-Learning 環境. 本発表では，学習（教育研究）活動を次の PDCA サイ. の配信源として利活用している．この e-Learning 環境は. クルに沿って紹介する．. Moodle*1 (Ver.2.8) を基盤にして，Moodle がもつ標準的. 【Plan】発表前活動として，教師は学習者が迅速にグルー. な機能を主に利用している．この学習機器設定をプレゼン. プ活動ができるように活動設定を行い，学習者は各自. テーション活動における LMS と LA の役割として利活用. 1. 2. a) b). 山陽小野田市立山口東京理科大学 Tokyo University of Science, Sanyo Onoda Yamaguchi 山口県立大学 Yamaguchi Prefectual University [email protected] udagawa@office.yamaguchi-pu.ac.jp. ⓒ 2016 Information Processing Society of Japan. している．本発表は，本学の平成 26 年度と 27 年度に実践した「コンピュータ演習」授業を元に紹介している．この「コン *1. http://moodle.org/. 1.

(2) Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. ピュータ演習」では，複数クラス編成でコンピュータリテ. （テキスト，Web ページ，ファイル，画像，動画，フォー. ラシー（文書作成 Word 2013，表計算 Excel 2013，画像処. ラム，小テスト，グラフ画像，フィードバック，リンク設. 理 Photoshop CC，プレゼンテーション PowerPoint 2013. 定など）をネットワーク上において共有できる空間となっ. の各操作能力）を取得することを学習目的としている．. ている．. また並行した別授業では，物理実験（実験テーマには弦. 図 1 は平成 27 年度プレゼンテーション活動における. の振動，力学法則などがある），または化学実験（実験テー. Moodle サイトに設定された学習コース（一部）内容を表. マには電気分解，中和滴定などがある）を体験し，さらに. 示した画面のスクリーンショットである．. 各実験に対するレポートを作成することで，科学的知識を身に付けることを学習目的としている授業が必修開講している．これらの授業活動の履修後にプレゼンテーション活動を行うものである．なお，同一の実験テーマに対して 3 グループが連続で発表活動を行っている．この活動状況を示したのが表 1 である．表 1. プレゼンテーション活動実施状況. 実施年度. 履修者 . 実験テーマ. グループ . 平成 26 年度. 182 人. 7種. 21 群. 平成 27 年度. 147 人. 6種. 18 群図 1. Moodle の専用コース（一部）. このプレゼンテーション活動のピア評価（相互評価）は個人活動として 2 回行う．第 1 次評価では，ルーブリック評価表に従った評価方法. 3.1 「グループ管理」による共有空間についてこのプレゼンテーション活動は，グループによる共同作. を取った．これは Moodle にある「オンライン小テスト」（以下，「小テスト」という）機能を利用することで，小テストを受験することが，ルーブリック評価表に従ったピア評価を行ったことになるように設計した．第 2 次評価では，上位 2 位までの優秀なグループを選出する評価方法として，Moodle にある「フィードバック」機. 業を行うことを基本にしている．メンバー数名を 1 グループとして行動させるために Moodle にある「グループ管理」機能 *2 を利用している．この機能により，後述するフォーラム機能においてグループ内だけで共有できる空間が設定できたり，第 1 次ピア評価において，グループ毎に評価制限を設定できる．. 能を用いて設計した．. 図 2 は平成 27 年度プレゼンテーション活動における. このピア評価の実施状況を示したのが表 2 である．なお，自グループを含む同一の実験テーマをもつ 3 グループに対しては第 1 次ピア評価を行わない．. Moodle で設定されたグループ内メンバーの名簿リポート（これは Roster プラグイン *3 を利用している）を示したスクリーンショットである．. 表 2. ピア評価実施状況（単位：件）. 実施年度. 第 1 次（平均件数）. 第2次. 平成 26 年度. 2, 349. (12.9). 116. 平成 27 年度. 1, 824. (12.4). 117. ピア評価の収集は Moodle が持つ標準の収集能力により，同集計は，最終評価を除いて，Moodle が持つ標準の自動集計能力を活用している．. 3. 発表前活動についてこの章ではプレゼンテーション活動における発表前に行う活動内容について解説する．. 図 2. Moodle コースでグループ管理された名簿リポート. このプレゼンテーション活動は，先に述べた専有サーバにおける Moodle の学習コースを専用に開設し，この学習. *2. コースにおいて学習活動に対するデジタル教材コンテンツ. *3. ⓒ 2016 Information Processing Society of Japan. https://docs.moodle.org/28/en/Groups https://moodle.org/plugins/report roster. 2.

(3) Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. さらにグループ管理されたフォーラム・モジュール *4 では，グループ内メンバーと教師だけが閲覧できる記事を投稿できる．また投稿する記事にスライドファイルを添付することで，グループ内メンバーだけがその添付ファイルを共有でき，それによって添付ファイルに対して共同作業ができる空間を提供できるようになる．図 3 は平成 27 年度プレゼンテーション活動における. Moodle で設定されたグループ管理されたフォーラムを示したスクリーンショットである．なおリスト表にある「グループ」列の記入情報により，記事を取り扱うことができるグループが定まっている．. 図 4. Moodle コースのビデオオンデマンド. 表を行っている授業風景である．. 図 3. Moodle コースでグループ管理されたフォーラム図 5. 3.2 「ビデオオンデマンド」による授業映像視聴について過年度で実践されたプレゼンテーション活動は，高解像. プレゼンテーション活動における発表風景. 図 6 は平成 26 年度プレゼンテーション活動における質疑応答を行っている授業風景である．. 度でビデオ録画で保存している．その映像を Moodle コースで再生できるように映像変換（Flash 映像）を行い，プレゼンター・モジュール *5 を用いて，ビデオオンデマンド（縮小化された低解像度の映像視聴）できるようにしている．この設定により，後述のルーブリック評価表によるピア評価を行うための練習用映像として活用している．図 4 は平成 27 年度プレゼンテーション活動における. Moodle コースで配信しているビデオオンデマンドの再生画面のスクリーンショットである．. 4. 発表時活動について. 図 6 プレゼンテーション活動の質疑応答風景. この章ではプレゼンテーション活動における発表時に行う活動内容について解説する．. 図 7 は平成 26 年度プレゼンテーション活動の専用サイ. このプレゼンテーション活動は，専有サーバにおける. トへの曜日別時間帯別アクセス状況を示した累積多面グラ. Moodle の学習コースを利用しているので，発表時におい. フである．なお，当日のアクセス総件数は，28,000 件（受. ても常時利用できる．例えば，発表で使用しているスライ. 講者一人当たり平均 150 件）程度であった．. ドファイルは標準フォーラムを経由して全参加者が共有で. 5. 発表後活動について. きる学習環境を構築している．図 5 は平成 27 年度プレゼンテーション活動における発 *4 *5. https://docs.moodle.org/28/en/Choice module https://docs.moodle.org/27/en/PresenterModule. ⓒ 2016 Information Processing Society of Japan. この章ではプレゼンテーション活動における発表後に行う活動内容について解説する．すなわち 2 回分のピア評価方法について詳しく解説する．. 3.

(4) Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 7. 専用サイトへの曜日別時間帯別アクセス状況グラフ図 9. 均等配点におけるピア評価結果のヒストグラム. 5.1 小テスト機能による第 1 次ピア評価について 3 グループによる同一実験テーマの発表後に行う第 1 次. ション活動だけに行うように設定されている．これは Moo-. を利用し. dle の小テスト管理におけるグループオーバーライド機能 *7. ている．すなわち小テストを受験することが，ルーブリッ. を利用することで実現されている．すなわち自己の実験. ク評価に従うピア評価を行ったになるように設定している. テーマに対する 3 グループへのピア評価を行える受講者. ピア評価は，Moodle の小テスト・モジュール. *6. （4 件法 10 題）．図 8 は平成 27 年度プレゼンテーション活動における第. は，他の実験テーマをもつグループのメンバーだけに許可していることで実現している．図 10 は Moodle の小テスト管理におけるグループオー. 1 次ピア評価結果をレビューしている画面のスクリーンショットである．. バーライド機能の設定画面のスクリーンショットである．. 図 10. グループオーバーライド機能の設定画面. 5.2 フィードバック機能による第 2 次ピア評価について各実験テーマにおける優秀グループは，ピア評価による平均得点の優劣で決定する．その結果，実験テーマ毎の優秀グループが定まる．次に，全ての実験テーマに対する優秀グループに対して第 2 次ピア評価を用いて順位を確定させる．この順位決定には Moodle にあるフィードバック・モジュール *8 を利用している．すなわちフィードバックの第 1 問では優秀グループの中から最優秀グループを選択して，第 2 問では選出した最優秀グループを除く優秀グループ群から第 2 位の優秀グループを選択させている．投票終図 8. ルーブリック評価表によるピア評価結果. 了後，この各優秀グループの得点を，投票状況に応じた計算式によって定め，得点の優劣により総合順位を定めてい. 図 9 は平成 26 年度に最初に発表したグループに対する. る（これだけが唯一の手動集計である）．. ピア評価による得点のヒストグラムである．なお平均値は. 図 11 は平成 27 年度プレゼンテーション活動における. 均等配点（0,2.5,5,7.5,10 点）で 73.6 点であり，傾斜配点. 第 2 次ピア評価の計算式を告知している画面のスクリーン. （0,2,4,6,10 点）で 56.7 点であった．第 1 次ピア評価は自己の実験テーマ以外のプレゼンテー *6. https://docs.moodle.org/27/en/Quiz module. ⓒ 2016 Information Processing Society of Japan. ショットである． *7 *8. https://docs.moodle.org/27/en/Override permissions https://docs.moodle.org/27/en/Feedback module. 4.

(5) Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 化したものである．. 図 11. 第 2 次ピア評価の得点計算式の告知画面. 図 13. 第 1 次ピア評価の発表グループ別得点分布. 実現しているフィードバックは条件付き選択肢による設問方式になっている．すなわち第 1 問で選択された選択肢. さらに小テスト管理・受験結果の「統計」機能により，. 番号によって，分岐された第 2 問がる出題されるように設. 発表グループ毎の得点状況に対する基本統計量である標準. 定されている．. 偏差・歪度・尖度などが Moodle により統計処理される．. 図 12 は平成 27 年度プレゼンテーション活動における第. 2 次ピア評価のフィードバックに対する編集において，その「質問を編集する」タブにおける編集中の画面に対する. 6.2 小テスト管理における内部整合性係数について Moodle 機能により，小テストに対する「内部整合性係. スクリーンショットである．すなわち第 1 問で選択肢「1」. 数（Coefficient of Internal Consistency)[5]」が自動的に統. が設定された場合，第 2 問で選択することができる選択. 計処理させる．この係数は，小テストの信頼性を示す指標. 肢を「2,3,4,5,6」だけに設定されている編集状況を示して. であり，クロンバック (Cronbach) の α 信頼性係数，単に. いる．. α 係数といい，α で表し，次の数式で定められている． ( ) k ∑ k Si2 α= 1− k−1 Sx2 i=1 ∑k ここで，k は設問の個数（実際には k = 10）， i=1 Si2 は i 番目の設問の分散 Si2 の総和，Sx2 は全体評点の分散を示す．このとき，0.8 を超える α 係数をもつ小テストは信頼性があると解釈されている．実際，平成 26 年度プレゼンテーション活動における均等配点に対する得点状況では，21 グループ中において 19 グループ（約 90%）の α 係数が 0.8. 図 12. 第 2 次ピア評価の条件付き選択肢の質問編集画面. を超えていた状況であった．図 14 は平成 26 年度プレゼンテーション活動における発表グループ別 α 信頼性係数のグラフである（均等配点）．. 6. 学習データ分析についてこの章ではプレゼンテーション活動が完了した後処理となる学習データ分析について解説する．このプレゼンテーション活動は，専有サーバにおける. Moodle の学習コースを利用しているので，Moodle による学習データの自動分析が多種実行できる．. 6.1 小テスト管理における受験結果について第 1 次ピア評価で利用した小テストの得点収集により，. Moodle による自動計算が実行され，発表グループ毎の全平均，設問別平均が自動的に統計処理される．. 図 14. 第 1 次ピア評価の発表グループ別 α 係数の分布状況. 図 13 は均等配点による得点分布をグループ別にグラフ ⓒ 2016 Information Processing Society of Japan. 5.

(6) Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 6.3 小テスト管理におけるファシリティ指標について Moodle 機能にある小テスト管理・統計における問題構造分析により，小テストに対する「ファシリティ指標（Facility. index）[5]」が自動的に計算される．このファシリティ指. 約 90% が適切に識別できている設問状況であり，残り約. 10% が弱く識別されている設問状況であった．図 16 は平成 26 年度プレゼンテーション活動における設問別識別率 DE の分布状況である（均等配点）．. 標は，設問がどれだけ簡単か難しいかを示す指標であり，. F で表し，次の数式で定められている． F =. Xaverage Xmax. (0 ≤ F ≤ 1). ここで，Xaverage は設問に対する平均評点，Xmax は同じ設問に対する最大評点である．このとき，このファシリティ指標 F が 0.35 ≤ F ≤ 0.65 の範囲に存在しているとき，「平均的な学生に対する適切な設問である」と解釈されている．実際，平成 26 年度プレゼンテーション活動における均等配点に対する得点状況. 図 16. 第 1 次ピア評価の設問別識別率 DE の分布状況. では，210 個のファシリティ指標に対して，約 20% が平均的な学生に対する適切な設問状況であり，残り約 80% がかなり易しい設問状況であった．図 15 は平成 26 年度プレゼンテーション活動における設問別ファシリティ指標 F の分布状況である（均等配点）．. 6.5 小テストにおける信頼性と妥当性について先のファシリティ指標と識別率を用いて，評価得点に対する信頼性と妥当性について考察する．小テスト得点分布から，次のように点群 P[i,j] を定める．. P[i,j] (F[i,j] , DE[i,j] ) (i = 1, 2, . . . , h; j = 1, 2, . . . , k) ここで，第 i 番目の発表グループの第 j 番目の設問に対するファシリティ指標と識別率をそれぞれ F[i,j] DE[i,j] とする．すなわちファシリティ指標 F で定める第 1 軸，識別率 DE で定める第 2 軸，(F, DE) = (.00, .00) を原点とする平面座標系である．次に，ある条件で定められた点群 P[i,j] に対する「最小包含円」を調べる．図 15. 第 1 次ピア評価の設問別ファシリティ指標 F の分布状況. この最小包含円の定め方は，第一に全ての点群 P[i,j] を含む最小の「凸多角形（Convex hull，凸包）」を定める（凸多角形を CH で表す）．第二にその凸多角形 CH に対す. 6.4 小テスト管理における識別率について Moodle 機能にある小テスト管理・統計における問題構造分析により，小テストに対する「識別率（Discrimination. efficiency）[5]」が自動的に計算される．この識別率は，全体の評点の上位群と下位群に対して，設問の正答率で識別できているかを示す指標であり，DE で表し，次の数式で定められている．. DE =. SUMxy N · SDx · SDy. る外接円を求めることになる．この外接円が最小包含円であり，M C で表す．一方，平面座標系の点で定める円の方程式は，同一直線上にない異なる 3 点を通る条件，または直径の両端となる. 2 点を通る条件で定まる．これらの状況により，円の中心座標を C(a, b)，その半径を c とする次の最小包含円の方程式が定まる．. (−1 ≤ DE ≤ 1). M C : (F − a)2 + (DE − b)2 = c2. ここで，N は標本数，SUMxy /N は全体評点と設問評点の. 次に，平面上における特定領域を次のように定める．こ. 共分散，SDx は全体評点の標準偏差，SDy は設問評点の. の特定領域を「適切領域」（独自呼称）といい，単に SA で. 標準偏差を示す．. 表す．すなわち次の条件式で定める．. このとき，この識別率 DE が DE ≥ .50 の範囲に存在しているとき，「適切に識別された設問」と解釈されてい. SA = {(F, DE) | .35 < F ≤ .65,. DE ≥ .50}. る．実際，平成 26 年度プレゼンテーション活動における. この条件式は，F が満たす範囲では「平均的な学生に対し. 均等配点に対する得点状況では，210 個の識別率に対して，. て適切である」状況であり，DE が満たす範囲では「適切. ⓒ 2016 Information Processing Society of Japan. 6.

(7) Vol.2016-CLE-19 No.5 2016/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. に識別された」状況を示している．このとき，最小包含円の中心座標から「妥当性」を判断し，同様に最小包含円の曲率 (すなわち半径の逆数）から「信頼性」を判断することが提案できる．例えば平成 26 年度プレゼンテーション活動の均等配点による得点状況について調べてみれば，設問 1 と設問 10 に対する最小包含円の方程式は次のようにそれぞれ定まる．   (F − 0.75)2 + (DE − 0.60)2 = (1/4.6)2 ,.  (F − 0.65)2 + (DE − 0.71)2. =. (1/6.5)2. 図 17 と図 18 は，設問 1 と設問 10 に対するそれぞれの幾何学的イメージである．なおこれらのイメージは動的数学ソフトウェア GeoGebra*9 によって描画されている。これにより信頼性に関して，設問 10 の方が設問 1 に比べて高いと判断できる．また妥当性に関して，設問 10 の方が設問 1 に比べて高いと判断できる．. 図 18. 第 1 次ピア評価の設問 10 に対する幾何学的イメージ. 参考文献 [1]. [2]. [3]. [4]. [5]. 図 17. 藤井聡一朗，豊島純子，常盤祐司：Angular JS を用いたプレゼンテーション相互評価支援システムの開発，IPSJ SIG Technical Report,Vol.2016-CLE-18, No.5, pp.1-7 (2016)．亀田真澄: プレゼンテーション学習におけるルーブリックのピア評価について∼2,361 件データに対する分析∼, MOF2015 講演論文集, pp.21-27 (2015). 亀田真澄，宇田川暢：ルーブリックによるピア評価の信頼性と妥当性に関する可視化について，第 22 回大学教育研究フォーラム発表論文集，pp.252-253，（2016）．村山航: 妥当性概念の展開 (online), 入手先 ⟨http://www.jartest.jp/pdf/jirei7 rep1a.pdf⟩ (2015.09.09). Moodle: Quiz statistics calculations (online), 入手先 ⟨https://docs.moodle.org/dev/Quiz statistics calculations⟩ (2015.10.23).. 第 1 次ピア評価の設問 1 に対する幾何学的イメージ. *9. http://www.geogebra.org/. ⓒ 2016 Information Processing Society of Japan. 7.

(8)