5.1 評価方法
被験者に使い方を説明し,期日以内に自宅や学校などの好きな場所で評価実験を行ってもらった. また被 験者には自由に使ってもらうため,特に指示はしなかった. システムを使った後, アンケートに答えてもら うことで機能面と利便性について評価を行った.
5.2 被験者
実験は, 本大学の学生5名と社会人1名に協力してもらった. Javaの勉強経験がある人は, 6名中2名 だった.
5.3 アンケート
以下に評価実験にて使用したアンケート内容を記載する.
1. スコアやランキングの表示に必要性を感じるか (不必要) 1 2 3 4 (必要) 2. 自動正誤判定によって間違いを見つけやすくなったか
(ならない) 1 2 3 4 (なる) 3. 他人のプログラムを閲覧する機能は学習の役に立つか
(役立たない) 1 2 3 4 (役に立つ) 4. プログラムに対するコメントに必要性を感じるか
(感じない) 1 2 3 4 (感じる) 5. 問題作成はプログラミングの勉強になるか
(ならない) 1 2 3 4 (なる)
6. 開発環境を導入するよりも、手軽に勉強が出来ているか
(検索しにくい) 1 2 3 4 (検索しやすい)
7. システム全体の使いやすさはどうか
(使いづらい) 1 2 3 4 (使いやすい)
8. Javaの勉強として役に立ったか？
(役に立たない) 1 2 3 4 (役に立つ)
9. このシステムについての意見を自由に書き込んでください。
第5章 評価実験 38
5.4 結果
質問1〜8までの結果を以下の表に示す.
表5.1: アンケート結果
評価(悪1⇔良4) 1 2 3 4 平均 スコアやランキングの必要性 1 1 1 3 3.0
自動正誤判定 1 1 4 0 2.5 閲覧機能の利用 0 0 2 4 3.7 コメントの必要性 0 1 3 2 3.2 問題作成 0 0 3 3 3.5 開発環境の手間 0 1 2 3 3.3 使いやすさ 3 2 1 0 1.7 学習面 0 0 4 2 3.3
良い意見
• 得点システムにより点数を稼ぐ仕組みから学習意欲が湧く
• 閲覧やコメントができることで,フィードバックが受けられる
• 開発環境の手間が省けて手軽
悪い意見
• 他人のプログラムを見るために,同じ問題を解かないといけないのが面倒
• 間違った問題の投稿を削除する機能がないので,初学者が勘違いしてしまう可能性がある
• ヒント機能がないので,初学者には難しい
• 操作方法が分かりづらい
提案意見
• スコアバランスの調整
• ソースやコメント自体に評価を付けられる機能を追加する
• 一度解いた問題なら閲覧画面に飛べる機能がほしい
• ヒント機能を付けてほしい
• システムの使い方を説明したチュートリアルがほしい
第5章 評価実験 39
• ソースコードを記入する時に, if文やfor文では改行したら自動的に余白を空けてくれる機能があると 良い
• 投稿された問題などの削除機能がほしい
5.5 考察
5.5.1 学習機能について
アンケート結果の表5.1を見ると,スコアや閲覧機能またコメント機能や問題投稿はプログラミングの学 習の手助けになるという意見が多く,平均で3.0以上の評価であった. プログラムを書いたらそれで終わり ではなく,他人のプログラムを見る事で新しい知識を得られたり,コメントとしてフィードバックをもらう ことができるのは学習面で大事な要素だからだと考えられる. また学習した分,スコアという形でユーザに 表示するので,自分の努力が形になって返ってきて実感が湧きやすいといった意見もあった.
プログラミング初学者にとっても, 最初は本などに書かれているプログラムなどを真似していくことで, 書き方や使い方を覚えていく. そのため他人のプログラムを閲覧できることは,書き方を真似するだけでな く新しいアルゴリズムの勉強にもなるので,本やサイトを見て勉強するよりも優位性があると考えられる.
さらに初学者はモチベーションが維持しづらい傾向があるので,自分で勉強した分がスコアやランキングに 反映して返ってくるのはモチベーション維持の一つとして有効だと考える.
だが,自動正誤判定システムに関しての評価は2.5だった. これは,テストデータがどのようにして使われ ているのかユーザ側が分からないという意見があった. また事前に用意しておいた問題が全て難しい問題で はないので,テストデータと比較することによる有効性を実感させることができなかったのも一つの要因だ と考えられる.
5.5.2 システムの利便性
アンケート結果の表5.1の質問6, 7を見ると, 全体的な使い勝手としてはあまり良くないと考えられる.
Webサイト上にあるので, 開発環境の設定がいらないのはプログラミング初学者に取っては使いやすいと いう意見があった. 初学者によくある,開発環境の設定などが分からなくてあきらめてしまう人にとっては, 敷居が低いので手軽感を与えられるからだと考えられる.
しかし,システムの使いやすさは1.7と非常に悪かった. これは画面のレイアウトが整理されていないの で見づらく,問題などの削除機能がなかったため,間違った投稿や操作ミスを引き起こす作りになってしまっ たからだと考えられる. また初学者にとってはプログラムの書き方が分からない状態で始めた場合,本やサ イトを見ながら問題を解いていかなければならないので,画面を行ったり来たりしなければならないので使 いづらいという意見があった.
40