第 3 章 LMS 操作の初期学習支援の実現可能性
3.2 評価実験
3.2.3 評価方法
評価実験では，設定したタスクを達成できたか，提案システムを利用し た場合と，チュートリアルを利用した場合で比較することで評価すること とした．また，アンケートを用いて，撮影した動画では確認の難しい被験 者が感じた印象を確認し，比較を行う．
ガイドを利用した場合のアンケートでの各質問項目を表
3.2-3
に示す．5
段階評価による選択肢として，そう思う，まあまあ思う，どちらでもない，あまり思わない，そう思わないという順に設定した．また一部の項目では，
利用していない，気づかなかったという項目を追加している．ガイドを利 用した被験者に対するアンケートでは，被験者が感じた印象を確認するた めに，評価実験で行った作業が簡単だったか，ガイドが役に立ったと思う かを尋ねる．また，提案するシステムを再び利用したいと思うかを尋ねる．
次に，提案するガイドでの各機能について役になったと思うかを尋ねる．
46
最後に，5段階評価では回答することが難しい印象を確認するために，良 かった点，良くなかった点，その他の意見を自由記述により確認する．ま た評価実験に用いたアンケート用紙を添付する．
47
表 3.2-3 ガイドを利用したグループへのアンケート項目
目的：ガイドの印象確認
目的：実験に対する主観的評価の確認
1
今回行なった作業は簡単だったと思いますか？5
段階評価2
今回行なった作業の中で，ガイドは役に立ったと思いますか？5
段階評価+
利用していな い
目的：再度の利用の可能性の確認
3
新たなLMS
を利用し始める場合に同様のガイドがあると良いと 思いますか？5
段階評価+利用していな い
目的：ガイドの各機能に対する主観的評価の確認
目的：操作箇所の周りを強調表示することで，被験者に操作箇所が伝わっていたかの確 認
1
今回行なった作業では，ガイドシステムにより操作例をメニュー 形式で提示していました．このような操作例の提示方法は，操作 例を選択しやすいものだったと思いますか？5
段階評価+
気づかない目的：操作箇所の周りを強調表示することで，被験者に操作箇所が伝わっていたかの確 認
2
今回行なった作業ではそのためのガイドとして次に行うべき操作 箇所を強調表示していましたが，操作箇所を判断する上で役に立 ったと思いますか？目的：画面上で操作指示を表示することで，被験者に操作内容が伝わっていたかの確認
3
今回行なった作業ではそのためのガイドとして次に行うべき操作内容を
LMS
の画面上に表示していました．このことについて次 の質問にお応え下さい．5
段階評価+気づかない
3-2
このような説明の提示方法は見やすいと感じましたか？5
段階評価+気づかない
3-3
説明の内容の文章は分かりやすい内容になっていたと思いますか？
5
段階評価+
気づかない 目的：進捗状況をプログレスバーで表示する事で，被験者に進捗状況が伝わっていたか の確認4
今回行なった作業では，ガイドシステムによりプログレスバーに より進捗状況を表示していましたが，作業を進める上で役に立っ たと思いますか？5
段階評価+気づかない
目的：アンケートで拾い切れない項目の確認 目的：ガイドの良かった点の確認
1
ガイドについて良かった点があればお書きください． 自由記述 目的：ガイドの良くなかった点の確認2
ガイドについて良くなかった点があればお書きください． 自由記述 目的：その他の要望の確認3
ご意見，ご要望がありましたらお書きください． 自由記述48
チュートリアルを利用した被験者に対するアンケートでの各質問項目を
表
3.2-4
に示す．被験者が感じた印象を確認するために，評価実験で行った作業が簡単だったか，チュートリアルが役に立ったと思うかを尋ねる．
また，提案するシステムを再び利用したいと思うかを尋ねる．最後に，5 段階評価では回答することが難しい印象を確認するために，良かった点，
良くなかった点，その他の意見を自由記述により確認する．また評価実験 に用いたアンケート用紙を添付する．
表
3.2-4
チュートリアルを利用したグループへのアンケート項目目的：ガイドの印象確認
目的：実験に対する主観的評価の確認
1
今回行なった作業は簡単だったと思いますか？5
段階評価2
今回行なった作業の中で，チュートリアルは役に立ったと思いますか？
5
段階評価+利用していな い
目的：再度の利用の可能性の確認
3
新たなLMS
を利用し始める場合に同様のチュートリアルがある と良いと思いますか？5
段階評価+
利用していな い目的：アンケートで拾い切れない項目の確認 目的：チュートリアルの良かった点の確認
1
チュートリアルについて良かった点があればお書きください． 自由記述 目的：チュートリアルの良くなかった点の確認2
チュートリアルについて良くなかった点があればお書きくださ い．自由記述
目的：その他の要望の確認