本システムの特徴である評価プロセスの繰り返しと,他ユーザの観点による評価に よる評価情報の蓄積の有効性を確認するために
,
評価実験として｢研究サマリ作成によ る研究データの再利用実験｣, ｢第三者による研究データの評価｣の実験を行った.また, システムの使いやすさを調べるために「ユーザビリティ評価」の実験を行った.
4.3.1 研究サマリ作成による研究データ再利用実 験
ここでは｢研究サマリ作成による研究データ再利用｣実験について述べる. この実験
では
3.3.1
で述べた再評価による研究データの蓄積が有用であるかどうかを見ることを目的とする
.
また,
初期評価と後で評価した際にユーザの評価情報にどのような差が 出るかを見る.
実験は
3.2
の研究モデルで説明したように,
蓄積された研究データを参考に研究サ マリの作成を行い,その際に参考にした研究データの再評価を行うといったものであ る.
被験者は
M2
学生A,B,C
の3
名とM1
学生D
の1
名で計4
名である.研究サマリと は3.2
で述べたように蓄積された様々な研究データに基づいて,
研究活動の内容と成 果をまとめたものである. M2
学生A,B
はA4
で6
枚程度の研究サマリ,M2
学生C
はppt
のスライド12
枚程度の研究サマリ,M1学生C
にはA4
で2
枚程度の研究サマリ を作成してもらった.
作成した研究サマリは付録(
付録１)
として巻末に添付する.
実験は研究データの閲覧,研究サマリの作成,再評価といった手順で行う.
まず
,
被験者はアップロードした自分の研究データを閲覧し(
図14
参照),
研究サマリ 作成に有用かどうかを判断する.
判断は被験者本人が行うが,
その際に評価情報を見 ることができる.
この評価情報は被験者本人が研究データをシステム上にアップロー ドする際に付与したものである.
次に
,
アップロードしたデータを閲覧した上で被験者が研究サマリ作成に有用であ ると判断した研究データを基に研究サマリの作成を行う.
２７
研究サマリ作成後
,
サマリに反映させた研究データ(
参考にした研究データ)
の再評 価を行う.
再評価では研究サマリ作成に対しその研究データがどれだけ有用な情報で あったかを基準に評価を行う.デ ー タ を 選 択し閲覧
図
14.
研究データの閲覧4.3.2 第三者による研究データの評価実験
ここでは｢第三者による研究データの評価｣実験について述べる.この実験では蓄積 された研究データを第三者が閲覧し
,
評価をするということを行った.
この実験では初 期評価を行ったユーザと第三者による評価を比較検討することによって3.3.1
で述べ た評価プロセスの繰り返しによる評価情報蓄積の有用性を判断することを目的とす る.
被験者は以下に示すように
,
ある学生の研究データに対し教員と異なる学生が各1
名と,
立場の違う評価者により評価を行った.
２８
実験は
2
学生分の研究データを対象とした.
学生
A
の研究データを教員E
と学生B
が閲覧し評価を行う場合(CASE:
学生A).
学生
B
の研究データを教員E
と学生A
が閲覧し評価を行う場合(CASE:学生B).
扱った研究データは主に日々の進捗報告ゼミナール活動によって蓄積されたもの である. 実験では第三者が蓄積された研究データの閲覧を行い,その研究データが閲 覧者である第三者にとってどれだけ有用な情報であるかを評価した
.
評価は5
段階評 価で行った.
今回はシステム上で研究データを閲覧するのではなく
,
予め蓄積された研究データ を印刷し,
それを閲覧することで行った.
同様に評価も蓄積されたデータの一覧を示 したものを印刷した評価シートを用いて行った.これは,予め評価情報がわかってしま うと,
それを基準に研究データを判断してしまう可能性があるためである.
そのため,
初期の評価情報を第三者が見て判断できない状況で実験を行った.4.3.3 ユーザビリティ評価実験
ここでは実装システムの使いやすさを調べるために行った｢ユーザビリティ評価｣
実験について述べる.被験者は北陸先端科学技術大学院大学知識科学研究科の大学院 生
6
名である.
被験者に本システムを1
週間程利用してもらい,
その後でアンケート調 査にて「ユーザビリティ評価」を行った.アンケートはシステムの機能について
,
十分な利用ができたかを聞くもので,5
段階 評価形式の設問と自由記述の設問により行った.
アンケート用紙は巻末に付録（付録2）として添付する.
4.4 結言
本章では実装したシステムを用いて蓄積したデータについて述べた
.
また,
それぞれ の評価実験の目的と実験内容について述べた.
２９
第 5 章
実験結果と考察
ドキュメント内
JAIST Repository: 進捗報告ゼミナール活動に基づく研究活動支援システムの研究
(ページ 33-36)