形成的評価

後テストをしてもらった．以上の操作は，すべて評価手順書（紙）の指示に従って進めて もらい，評価中の様子を著者が観察した．最後に操作性と有用性を問うアンケート（5段階 評価で5が最も良い）とインタビューを行った．

6.4.2. 結果と考察

評価協力者 4名における②のコースでの正答数，出題数，所要時間を表 6-1に示す．評 価協力者Dが最も成績が良い結果となった．ただし，評価協力者Cは，テストの途中で問 題が難しいと訴え，自筆の授業ノートの閲覧を希望した（閲覧を許可して評価をすすめて もらった）．よって，Cの結果は，実力を反映しているとは言い難い．以上から，評価協力 者A，Bは情報基礎Bが得意でも苦手でもない学生，評価協力者Cは苦手な学生，評価協 力者D は得意な学生であることが示唆された．今後，被験者数を増やしてアルゴリズムの 妥当性と効率性をさらに評価する必要がある．

表 6-1 正答数，出題数，所要時間

評価協力者 正答数/出題数（所要時間）

事前テスト 事後テスト

A 2/3（58 秒） 4/12（4 分 3 秒）

B 5/8（3 分 14 秒） 5/8（11 分 48 秒）

C 6/8（6 分 21 秒） 6/7（8 分 50 秒）

D 3/3（1 分 59 秒） 1/1（8 分 47 秒）

次に，アンケートとインタビューの結果から操作性（使いにくいところはないか）と有 用性（役に立ちそうか）について考察する．

アンケートの結果，操作性に関する13項目すべてで平均4.5以上だった（表 6-2）．自由 記述においても，特に使いにくい箇所はないという回答が得られた．ただし，評価協力者A とDの2名の事前テストのレビュー画面において，成績が色に反映されない不具合が観察 された．この不具合の修正が必要であるものの，使い勝手に大きな問題はなく，操作性は 十分であることが確認できた．

有用性に関しては「総合的に考えて，事前テストは役に立ちそうだ」および「総合的に 考えて，事後テストは役に立ちそうだ」という設問に全員が5または 4の点数をつけた．

その理由として評価協力者 A は「自分がどこをわかっていないのかを知ることができるか ら」，評価協力者Dは「自分が何ができないか等が分かった」と回答した．また，LCMの 総合的な有用性として「自分で勉強するときに，通常のコースと，LCMつきのどちらを選 択しますか？」という設問に対し，全員が「LCMつき」と回答した．その理由として，評 価協力者Aは「はじめに自分に足りないところを確認できるから」，評価協力者Bは「分か

る所，分からない所がはっきりしていた方が勉強しやすいと思う」，評価協力者Cは「図が あって分かりやすいから」，評価協力者Dは「どちらも使いやすいけれど，LCMつきの方 が少しスムーズに各分野に飛ぶことができたと思います」と答えた．以上から，事前・事 後テストモジュールは，テスト後のレビュー画面で表示されるLCMによって，学習者自身 が修得箇所と未修得箇所を把握できるため，有用だと認識されていることがわかった．ま た，LCMによって学びたい学習項目を素早く表示できる点も有用だと考えられていること がわかった．

今後の改善に対する意見として，評価協力者 C から「テスト後，できれば正しい答えを 表示してもらいたい」という旨のコメントを得た．これは，Moodleの標準設定の場合，出 題画面に表示される「送信」ボタンをクリックしたときの正誤判定において，正答を表示 してほしいという意見だと考えられる．正答を表示することは設定次第で可能だが，丸暗 記による回答にもつながりかねない．今後，正答を表示するかしないか，またテストの問 題ごとに対応するコンテンツへのリンクを張るといったヒント機能の追加などを検討した い．

表 6-2 アンケート結果

アンケート項目 AVE SD

操作性

事前テスト（4項目） 4.63 0.38 事後テスト（4項目） 4.69 0.11

LCM（5項目） 4.95 0.09

有用性 事前テスト 4.50 0.50 事後テスト 4.50 0.50

一方，今回の形成的評価の準備を通じて，本システムの事前・事後テスト機能を利用す るにあたり，教員向けに妥当なテスト問題の作成支援が必要であることがわかった．具体 的には，以下の点について支援が必要である．

 小テストによって，問題の量にばらつきがある

 別の学習項目の問題を出題しがち（復習の意図）

 解説やテキストのない問題を出題する（問題を解くことで学ばせる意図）

 知的技能なのに，言語情報（暗記）の問題を多く作りがち

 知的技能の問題でも，同じ例の問題を出題しがち（いくつかの例を用意する必要が ある）

 上位（特に最上位）項目の問題は，総合的な問題にする（事後テストで，一発合格 になるので）