評価方法

実験に参加したユーザは，20代前半の本学の学生10人である．約半分はPukiWikiを普段から 使用しており編集も行っているユーザであり，もう半分はPukiWikiを閲覧したことはあるが編集 はほとんど行ったことがないユーザである．本システムに関しては，全員ほぼ使用したことはない．

表データを複数持ったWikipediaドキュメントを2種類用意し，適度な文章量になるように予め 抜粋，編集しておいた．実際に準備したドキュメントは図5.1に示す．これをA4用紙に印刷した．

本システムと比較を行う従来のWikiシステムとして，関連研究でも挙げたPukiWiki¹⁰⁾を用い た．2種類のドキュメント内容をPukiWikiと本システムに記述し，ページを構築した．そして，

表データの部分を若干変更して「間違い」とし，印刷した紙の該当する場所に赤く印をつけた．

「間違い」とした場所の数と種類は，どちらのドキュメントも同じである．以下に，「正解」に修 正する際に必要となるタスクを挙げる．

• 行を追加する 1ヶ所

• 列を追加する 1ヶ所

• セルの内容を編集する 2ヶ所

• 行の順番を規則正しい順番に並び替える 1ヶ所

以上の作業を行うことで「正解」となるページを2種類用意したことになる．事前に執筆者自身 で2つのシステムを用いて2種類のドキュメントを用いて編集した結果，どちらのドキュメントの 編集もPukiWikiでは2分前後，本システムでは1分50秒前後で行うことができたため，2種類 のドキュメントの編集はほぼ同じタスク量であると考えた．

次に，ユーザを2つのグループに分けた．2つのグループには，Wiki編集に慣れているユー ザと慣れていないユーザが満遍なく入るようにした．片方のグループは「爆風」ドキュメントを

図 5.1: 評価実験に用いたWikipediaドキュメント

PukiWikiで，「IntelCore2」ドキュメントを本システムで編集してもらい，もう片方のグループは

「IntelCore2」ドキュメントをPukiWikiで，「爆風」ドキュメントを本システムで編集してもらった．

同じドキュメントをPukiWikiと本システムで編集した場合，後に編集を行った方がそのドキュ メント内容に既に触れている分，かかる時間が短くなってしまう可能性がある．その不公平さを軽 減するためにドキュメントを2種類用意し，2つのシステムの実験を別々のドキュメントで行った．

では，実際の実験の流れを以下に示す．

1. PukiWikiにおける見出しと箇条書き，表データの構築の方法を教え，実際にページを作っ

てもらう．

2. ドキュメントを印刷した紙を渡し，PukiWiki内のページを印刷した紙の赤い印を参考に編 集してもらう．同時に編集にかかった時間を計測する．

3. 本システムの操作方法を教え，実際に作業してもらう．この時に行ってもらった作業を以下 に示す．

• 新規表データの作成，表データ内容の挿入

• 列の追加，行の追加

• 通常ページへ表データを挿入，通常ページ上で表データ内容を編集

• 通常ページに挿入された表データをソート

• 通常ページ→表データ単体ページ，表データ単体ページ→通常ページの移動

4. 先ほどとは異なるドキュメントの紙を渡し，本システム内にあるページを同じように編集し てもらい，編集にかかった時間を計測する．

5. 使用感に関するアンケートに答えてもらう．アンケートの内容は図5.2に示す．

'

&

$

% Q1.通常文の編集のしやすさ （表以外の部分の編集）

  PukiWiki １ ・ ２ ・ ３ ・ ４ ・ ５ 本システム

Q2.表データ内の内容の編集のしやすさ （表のセル内の編集）

  PukiWiki １ ・ ２ ・ ３ ・ ４ ・ ５ 本システム

Q3.表データ操作の編集のしやすさ （表のソートや，行・列の追加）

  PukiWiki １ ・ ２ ・ ３ ・ ４ ・ ５ 本システム

Q4.Wikiとしての総合的な編集のしやすさ

  PukiWiki １ ・ ２ ・ ３ ・ ４ ・ ５ 本システム

図 5.2: 編集ユーザサイドのアンケート  

最後に，かかった時間からそれぞれのシステムの平均編集時間を計算した．

• PukiWkiで「爆風」を編集するのにかかった時間

• PukiWikiで「IntelCore2」を編集するのにかかった時間

• 本システムで「爆風」を編集するのにかかった時間

• 本システムで「IntelCore2」を編集するのにかかった時間

以上の4項目の平均編集時間を算出し，そこからシステム別の平均編集時間を求めた．