第 6 章 評価実験 48
6.2 実験結果
6.2.2 実用実験結果
開発環境に関する質問，質問1，質問2，質問4の集計結果を図6.1，図6.2，図6.3に示した．質問3につ いて，質問2にて「不足していた」と回答した11名が回答した．以下に回答の要約を示す．
• コンパイルエラーが日本語で出てこないこと
• time指令などがないこと
• error表示について，どこの行にエラーがあるのか程度は分かったがそれ以上は分かりにくかった自分の
能力不足のためにどう改めればいいのか分からない．訂正の指針が少しでも与えられたら嬉しい．
• エラーが分かりにくい．どこにカーソルがあるのかわからないのでかなり使いにくい
• 学校のPC環境を用いて利用するとマウスポインタがずれていてやりにくかった
• centOS環境だと入力地点がずれることがとても不便だった
• カーソルがずれることがあった
• カーソルがずれていた
• 文字入力がズレる．
• コンパイルオプション(-lmなど)の追加は助かりました．sin関数の実行ができず困ったことがありま した
• 括弧の自動補完をするか否かの設定がほしいと思いました
図6.1: 実用実験における質問1の集計結果
図6.3: 実用実験における質問4の集計結果
自動採点
自動採点に関する質問，質問5の集計結果を図6.4に示した．質問6について，質問5にて「あまり役に立 たなかった」「役に立たなかった」と回答した3名が回答した．以下に意見の要約を示す．
• 間違えている理由が余りわからなかった
• よくわからなかった点があった
• ヒントが与えられていないともう一回頑張ろうと思わなくなる
図6.4: 実用実験における質問5の集計結果
有効性
有効性に関する質問，質問7，質問8の集計結果を図6.5，図6.6に示した．
図6.5: 実用実験における質問7の集計結果
図6.6: 実用実験における質問8の集計結果
質問9の意見について，質問8にて「利用したい」「やや利用したい」と回答した学生の回答理由は，図6.7 のように分けられた．
図6.7: WOJを今後も利用したい学生の理由
開発環境を回答理由に挙げている学生の一部の回答内容を以下に示す．
• ブラウザ一つで，学外のどの端末からでもソースコードの編集や課題提出ができるのは便利でした
• ソースの構築からコンパイル，実行まで簡単にでき，使いやすいから
• Windowsなど，容易にC言語を使ってプログラムを作動させることが出来ない環境では，WOJはすぐ
に動かしたり容易に修正が出来るのが大きい
自動採点を回答理由に挙げている学生の一部の回答内容を以下に示す．
• すぐ採点がでるから
• 自動でプログラムを複数の条件で評価してくれるから
• 答えがすぐわかり，失敗例もでるし，自分のミスに気が付きやすい
• 自分の作ったプログラムがあっていたのかすぐにわかるし，家のwindows環境のパソコンでもプログラ ムが容易に作れるから
システム全体に分類した回答は，「便利であるから」といったシステム全体を理由に挙げたものを指す．
質問10に対して，10名が回答した．以下に回答内容を示す．
• ぜひすべての情報系科目でこの様な提出サイトを使ってください
• ソースコードがサーバ上にあるため，自宅でもコンピュータ室と同様の作業ができるのがとても便利 だった
• 自動判定システムは便利でした
• とてもつかいやすかったです
• よかったです
• フィードバックはかなり役に立った
• 先生に直接ソースファイルを渡す授業の方がいいです
• 使い方が簡単だったのですぐに利用することができました
• もう少しステップを踏みつつ勉強を進めることができるようなシステムを作ってほしいと感じました
• 自動判定システムはユニークだと思いました．ただ，Linuxで開いた時に文字とカーソルの位置がずれ ていて，直接書き込めないのが不便だと思いました
第 7 章 考察
7.1 比較実験結果の考察
表6.4の実験結果を考察する．開発環境について，基本的なプログラムを開発できる開発環境を持ち，アッ プロード機能を備えているのはWOJだけである．一部のシステムでは開発環境を備えてはいるが，不十分で あるのがわかる．
自動採点について，基本的なプログラムをすべて採点可能であるのはWOJだけである．既存のシステムで は，一部の基本的なプログラムしか採点ができない．そして，フィードバックについて，様々な要件に対応す るためにあらゆる手法を適用可能な枠組みを提供しているのもWOJだけである．既存のシステムは，固定の 手法を取っているため，要件の違いに対応できない．
学習状況把握について，WOJのみが様々な分析手法を適用する枠組みを備えている．既存の研究では，固 定の手法を取っているため，表6.4において，○が記されているシステムは1つもない．
対応言語，開発環境，自動採点，フィードバック，学習状況把握のすべての観点において，WOJが最も良 いシステムであると言える．
7.2 実用実験結果の考察
図6.1より，授業の履修者のほとんどが初学者であることがわかる．
開発環境について，図6.2より，80%以上の学生がWOJの開発環境には十分な機能が備わっていると考え ているのがわかる．実際に，既存システムが対応していなかったファイル入出力やコマンドライン入力を利用 する課題を授業で課したが，学生はWOJ上で問題なく開発していた．「不足していた」と回答した11名の回 答理由について，ほとんどがカーソルがずれる問題を指摘していた．これは利用しているブラウザが極端に古 い場合に見られた現象である．WOJの開発環境における本質的な問題を回答理由に挙げている学生がいない ことがわかる．以上より，WOJの開発環境は授業を支援するのに十分であったと言える．
図6.3より，約50%の学生がWOJを利用する前に使い方を学ぶ必要があったと回答している．WOJを利用 する前に，学生にWOJの利用方法を教える必要があることがわかる．実際に，実用実験では，授業前にWOJ
有効性について，図6.5，図6.6より，約90%の学生がWOJはプログラミング演習授業に有効で，今後も利 用したいと考えているのがわかる．図6.7より，学生は開発環境を構築する必要がないこと，提出後に自動で 採点されるため即座に回答結果がわかること，またその場ですぐに修正できることを高く評価しているのがわ かる．そして，質問10に対する回答より，大半の学生はWOJを有用だと考えているのがわかる．
第 8 章 まとめ
8.1 まとめ
本論文では，プログラミングを行うことができる「開発環境」，プログラムを自動採点する「自動採点機能」，
学生の学習状況を詳細に把握できる「学習状況把握機能」を備えたプログラミング授業支援システム，WOJ を提案した．評価実験では，比較実験と実用実験を行った．比較実験では，WOJと既存システムとの機能を比 較した．そして，WOJが対応言語，開発環境，自動採点，学習状況把握のすべての観点で，最も有用なシステ ムであることを示した．実用実験では，実際に大学の授業へ導入し利用者へのアンケートを実施した．90%を 超える学生が，WOJがプログラミング授業において有効であると回答し，WOJが有用であることを示した．
利用者は特にプログラミング開発環境の導入が不要になること，自動採点により即座に採点結果が分かりその 場で修正できることに対して好評価をしていた．
8.2 今後の展望
8.2.1 開発環境の改善
実用実験の結果，80%を超える学生がWOJの開発環境には十分な機能が備わっていると回答した．しかし，
残りの学生は，一部の環境でカーソルがずれること，UIが悪いことを理由に機能が十分でないと回答した．こ れらを改善することで，開発環境の完成度がさらに高まると考えられる．
8.2.2 学生が提出したプログラムの解析
実用実験を通して，学生が作成したプログラムがWOJ内に蓄積された．それらのプログラムのソフトウェ アメトリクスを測定した結果，断片的ではあるが傾向が見られた．それは，プログラムの行数を測定すること で，合格ではあるが質の悪いプログラムを検出できる可能性である．ソフトウェアメトリクスには，行数の他 に冗長性，複雑度など，プログラムの特徴を測るのに有効なものが数多くある．
WOJではそのような拡張できる枠組みを提供しているため，プログラム解析プラグインを開発し導入する ことで，学生に適切な指導ができる可能性がある．
8.2.3 日本語プログラミング言語への対応
背景で述べたように，プログラミング教育のニーズは今後ますます増加し，義務教育に導入され，初学者の 低年齢化が進むと考えられる．WOJは主にプログラミング初学者を対象にしている．しかし，小学生がWOJ を利用するのは難しい．現在，対応しているC，C++をはじめ多くのプログラミング言語では，アルファベッ トを利用しているからである．
小学生からでも利用できるようにするひとつの方法として，WOJ内で日本語プログラミング言語を利用で きるようにすることが挙げられる．日本語でプログラミングができる為，WOJと組み合わせることでプログ ラミングの学習の敷居を大幅に下がられるのではないだろうか．