評価実験 2: パラメータ調整機能の有効性検証

表

12.

^評価実験

1

における実験後アンケートの質問一覧

番号 質問内容 形式 理由

1* 実験IDを入力してください. 記述

-2* 年齢を教えてください. 記述

-3* 性別を教えてください. 選択

-4* データ分析,機械学習に関する知識レベルとして,以下から該当する ものを選択してください.

複数選択

-5* 提案インタフェースは時系列データの分析の役に立ちましたか. 選択 ○ 6* 提案インタフェースは比較対象インタフェースと比べて分析の役に

立ちましたか.

選択 ○

7* 軌跡表現を用いた可視化はわかりやすかったですか. 選択 -8* 凸包を用いた可視化はわかりやすかったですか. 選択 -9* 提案インタフェースにおいて,軌跡表現が役に立った,もしくは軌跡

表現を中心に探索を行ったタスクを,以下から選択してください.

複数選択

-10* 提案インタフェースにおいて,凸包が役に立った,もしくは凸包を中 心に探索を行ったタスクを,以下から選択してください.

複数選択

-11* 提案インタフェースにおける,凸包/軌跡などの可視化手法の組み合わ せに関する使いやすさを評価してください.

選択 ○

12* 提案インタフェースの全体的な可視化やユーザインタフェースの使 いやすさを評価してください.

選択 ○

13 提案インタフェースに搭載してほしい機能,改善すべき点がありまし たら,回答してください.

記述

-14 その他,実験を通した感想やコメントがありましたら,回答してくだ さい.

記述

データ属性値の標準偏差とした

.

パラメータ調整タスクでは

,

^{探索対象が}

X

^軸か

Y

軸について最もプラス方向に配置されるよう に

,

^{パラメータ}ω^{を調整してもらうため}

,

そのような調整が可能となるようにデータセットを生 成する必要がある

.

対象が最も値の大きい場所に配置されることを保証するために

,

^{強調の対象と} なるオブジェクトは他のデータに対して

,

^特定

(

^以降

,

m^{番目とする}

)

の属性値が大きい必要があ る

.

^{人工データセットでは}

, 50

個のオブジェクトから属性数と同数

(M

=

10)

^{個のオブジェクトを} サンプリングし

,

^{それらに対して}

,

m^{番目の属性値に式}

(15)

のようにバイアスを加算して対象オ ブジェクトを生成する

.

^{式において}

, 2

^項目は式

(14)

の確率密度関数からサンプリングされた値 であり

,

^{その最大値と最小値は}

r min(t)

=

3

×

rand const, r max(t)

=

4

×

rand const

^とした

.

^バイ アスの加算は

,

^{全ての時点}t^{について行う}

.

^{これによって}

,

^{対象オブジェクトは}

,

^{データ全体の平} 均値に対して

, 3

標準偏差分大きな属性値を持つ

,

^{これによって}

,

他オブジェクトと比べて

,

m^番目 の属性値が全時点で大きくなることが保証される

.

^すなわち

,

^{全時点において}ωmの値を増加させ て

,

探索対象が該当する投影軸について最もプラス方向に配置されることを保証できる

.

探索対象として

,

^{データセットごとに式}

(15)

^{を適用した}

10

^{個のオブジェクトから}

1

^つをラン ダムに選択する

.

^{実験協力者は}

,

^{そのオブジェクトが}

,

各設問で指定された投影軸において最も値 が大きい場所に配置されるように

,

^{パラメータ}ω^{を調整する}

.

パラメータ調整タスクにおいて

,

^実 験協力者には

1

つのインタフェースに対して強調対象の投影軸が異なる

3

^{種類の設問}

(X

^軸

, Y

軸

, XY

^両軸

)

^{を実行してもらう}

.

設問ごとに異なるデータセットを用いるために

,

^{データセットを} 後述する提案・比較インタフェースごとに

10

^{種類作成し}

,

その中からランダムに選択した

3

^つを 各設問に割り当てた

.

d_tmn^target= 1 N

∑N i=1

d^target_tmi +ϵ(t) (15)

パラメータ調整タスクでは

,

時点ごとに異なるパラメータを指定する際の

,

^{提案フレームワーク} の有効性を検証するため

,

作成したデータセットに対して時点ごとに主成分分析を適用し

,

^得られ たパラメータω^に基づき

, 3.6

節で示した手法でオブジェクトの座標を決定した

.

^また

,

^各時点に おける全データ内の属性ごとの最大値・最小値を用いて

,

^{各属性値が}

[0, 1]

^{に収まるように正規化} した

.

6.4.2

実験協力者

評価実験

2

^{の協力者は}

, 20

^代から

30

代の理系大学生および大学院生

18

^名である

.

^{実験協力者} には

,

^評価実験

1

と同様の基準で協力を依頼し

,

実験終了後のアンケートにおいて知識レベルを回 答してもらった

.

^{実験協力者のうち}

8

^名は

,

^評価実験

1

^{と重複する}

.

^このとき

,

^評価実験

1

^と

2

^で はタスクが異なり

,

実験結果の比較は評価実験ごとに独立に行うため

,

実験協力者の重複を許可し た

.

データ分析や視覚的分析に関する知識レベルの集計結果を表

13

^に示す

.

^表

13

^より

,

^評価実験

1

^{における結果}

(

^表

8)

と同様の傾向が確認できる

.

「全くない」と回答した協力者も評価実験

1

^と 同様に

0

^名であり

,

次元削減に関する知識を持っている

,

もしくは情報科学に関する学習・研究経 験がある協力者が多いことが確認できる

.

^評価実験

2

^では

,

主成分分析で得られたパラメータω を調整するため

,

主成分分析のアルゴリズムと可視化結果との対応に関する知識を有する必要が ある

.

^{本実験において}

,

実験協力者はタスクの実行に必要な能力を十分備えていると考えるが

,

^主 成分分析に対する理解をタスク実行前に保証するため

,

チュートリアル書類にアルゴリズムの概

要と可視化結果との対応を記載し

,

実験中にも参照できるようにした

.

表

13.

実験協力者のデータ分析および情報視覚的分析に関する知識レベル

(

評価実験

2)

知識レベル 人数

全くない 0

話を聞いたことがある/ニュース記事などを見たことがある 6 関連する講義や演習を受けたことがある/勉強会に参加したことがある 4 情報工学,情報科学に関連する学科に在籍している/^{専攻している} 11 視覚的分析インタフェースを用いたデータ分析の経験がある 5 次元削減を用いた多次元データ分析の経験もしくは学習経験がある 5 データ分析や機械学習に関連する研究をしている/^{実務経験がある} 8

6.4.3

比較インタフェース

本実験では

,

プロトタイプインタフェース

(PPL)

における複数のパラメータ調整手法の有効性 検証を目的とする

.

^そのため

,

直接操作に基づくパラメータ調整の有無だけでなく

,

^{それぞれの調} 整手法自体の有無に関する比較インタフェースを用いて

,

それらの有効性を検証する必要がある

.

そのため

,

^以下の

3

つを比較インタフェースとした

.

•

PBL1:

直接操作機能を持たないインタフェース

(

棒グラフによるパラメータ調整のみが

可能

)

•

PBL2:

相対的操作のみが使用できるインタフェース

(

提案インタフェースから絶対的操作

を削除

)

•

PBL3:

絶対的操作のみが使用できるインタフェース

(

提案インタフェースから相対的操作

を削除

)

表

14

^に

,

^評価実験

2

における実験用インタフェースの機能の一覧と

,

比較インタフェースとの 相違点を示す

.

^評価実験

1

^と同様に

,

インタフェースごとにインタラクションログの集計を行っ た

.

^また

,

^{パラメータ調整前後の}ω^を出力し

,

^{結果の考察に利用した}

.

6.4.4

^実験手順

評価実験は

,

以下に示す手順で実施した

.

^{実験全体の所要時間は}

1

^時間から

1

^{時間半程度を想定} する

.

1.

^{チュートリアル}

(25

^分程度

)

2.

提案インタフェースと比較インタフェース

(2

^種類

)

^{に関する実験}

(

^各

20

^分程度

) 3.

^{アンケート回答}

(10

^分程度

)

本実験でも

,

^評価実験

1

^{と同様の理由から}

,

タスクごとにランダムにデータセットを割り当て た

.

データセットはインタフェースごとに

10

^{種類用意され}

,

その内ランダムに選択した

3

^つを用 いて実験を実施する

.

表

14.

^評価実験

2

におけるインタフェースごとの搭載機能

インタラクション内容 説明箇所 有効化の有無

PPL PBL1 PBL2 PBL3

散布図ビュー 4.5 ○ ○ ○ ○

詳細ビュー 4.6 ○ ○ ○ ○

軌跡の表示と操作 4.7.2 ○ ○ ○ ○ 凸包の表示と操作 4.7.3 ○ ○ ○ ○ 凸包(軌跡の複数選択) 4.7.2 ○ ○ ○ ○ 棒グラフの直接操作 4.8.1 ○ ○ ○ ○

相対的操作 4.8.2 ○ × × ^○

絶対的操作 4.8.3 ○ × ^○ ×

パラメータ調整のリセット 4.8.4 ○ 〇 〇 ○ 再生/^{静止モードの変更} 4.9.1 ○ ○ ○ ○ 操作対象の変更 4.9.2 ○ ○ ○ ○

ラベリング 4.9.3 × × × ×

軌跡エディタ 4.9.4 × × × × オブジェクトの削除 4.9.5 × × × × オブジェクトの検索 4.9.6 × × × × 探索履歴の可視化 4.10 × × × ×

実験協力者は提案インタフェース

(PPL)

^と

2

つの比較インタフェース

(PBL1, PBL2, PBL3)

^に ついて

,

パラメータ調整タスクを実施する

.

^このとき

,

協力者の負担を軽減するため

, 4

^{種類のイン} タフェースすべてについて実験を行ってもらうのではなく

,

協力者は比較インタフェースのうち

PBL1

^{を必ず実行し}

, PBL2

^もしくは

PBL3

^のうち

1

^種類の計

2

種類についてタスクを実行しても らった

.

インタフェースへの慣れや

,

^{順序効果を考慮して}

,

^表

15

に示すラウンドロビンに基づく 実験計画を作成した

.

この実験計画では全ての並び順を網羅しないが

,

^提案/^{比較インタフェース} 間の有効性を比較する目的に対して

,

比較インタフェース間での順序の固定が結果に及ぼす影響 は少ないと考える

. 18

^{名の実験協力者を}

3

^{名ずつに分割し}

, 6

名ごとの協力者のグループに対し て表

15

の実験系列を割り当てた

.

6.4.5

^{パラメータ調整タスク}

パラメータ調整タスクでは

,

強調対象となるオブジェクトデータが

X

^軸

, Y

^軸

,

^{もしくはその両} 方について

,

^{全ての時点}tについてその座標値が最も大きくなるように

,

^{パラメータ}ω^を調整す る

.

^{タスクセットは}

,

^表

16

^に示す

3

つの設問から構成される

.

タスクへの慣れを防止するために

,

各設問はランダムに実験協力者に提示される

.

設問ごとの条件を達成すると

,

^{インタフェース上に} ダイアログが表示され

,

その時点でタスクを終了してもらった

.

人工データ内から類似オブジェクトを見つける探索タスクと比べて

,

パラメータ調整タスクは 可視化された結果を確認するだけでなく

,

^{試行錯誤による}ω^{の調整も伴うため}

,

^{その探索手順が} 多様になると考える

.

^そのため

,

タスク実行時間の増大や

,

実験協力者間での実行時間に関する分

ドキュメント内 首都大学東京 (ページ 95-152)