このとき
,
仮説1
は3.3
節で示した要件5
から7 (
インタフェース・可視化レベルの要件),
仮説2
は要件2
から4 (
フレームワークレベルの要件)
に対応すると考える.
対象タスク タスク開始/次タスク移行ボタン
図
32.
評価実験におけるタスク実行用のインタフェース向を持ってしまうため
,
タスクへの慣れが実験結果に影響すると考える.
そのため,
式(12)
を用い て共分散行列にランダムなノイズを加えている.
初 期 時 点 以 外
(t
,0)
の デ ー タ 属 性 値 は,
式(13)
を 用 い て 決 定 す る. 2
項 目 の ϵ(t)
∈[r min(t), r max(t)]
は連続一様分布からサンプリングされた値に対応し,
その確率密度関数は式(14)
で定義される.
式(14)
におけるr min(t)
,r max(t)
は分布の最大値と最小値を表現し,
デフォ ルトではr min(t)
=−1×rand const, r max(t)
=rand const
とした.
このとき, rand const
は,
共分 散行列からサンプリングしたオブジェクト集合(N
=100)
の,
全属性値に関する標準偏差×3
に 対応する.
Σ =
1+rand(−1,1) 2+rand(−2,2) . . . m+rand(−m,m) 1+rand(−1,1) 2+rand(−2,2) . . . m+rand(−m,m)
... ... ... ...
1+rand(−1,1) 2+rand(−2,2) . . . m+rand(−m,m)
(12)
dtnm=d(t−1)nm+ϵ(t) (13)
Pr(ϵ(t))=
1
|r max(t)−r min(t)| (r min(t)≤ϵ(t)≤r max(t))
0 (otherwise) (14)
探索タスクでは
,
実験協力者は散布図上の多数のオブジェクトから,
探索対象と類似するオブ ジェクトを探索して回答する.
実験結果として得られる探索時間や回答された類似オブジェクト,
アンケート結果に基づき,
プロトタイプインタフェースの有効性を検証する.
そのため,
実験協力 者が探索対象と視覚的に類似する(
同様の時間的特性を持つ)
オブジェクトを容易に把握できる 必要がある.
これに該当するような類似オブジェクトを生成するため,
一部のオブジェクトについて
,
式(14)
のr min(t)
,r max(t)
を以下のような特性を持つように変更することで,
対応するデータが明確な時間的傾向を持つように設定した
.
(1)
増加傾向:
r min(t)=0
r max(t)=rand const
(2)
減少傾向:
r min(t)=−1×rand const r max(t)=0
(3)
稲妻形1:
r min(t)=
−2×rand const (tmod 2=0) rand const (otherwise) r max(t)=
−1×rand const (tmod 2=0) 2×rand const (otherwise)
(4)
稲妻形2:
r min(t)=
−2×rand const (tmod 2=1) rand const (otherwise) r max(t)=
−1×rand const (tmod 2=1) 2×rand const (otherwise)
(5)
周期性1:
r min(t)=
−1×rand const (t≥T/2) 0.5×rand const (otherwise) r max(t)=
−0.5×rand const (t≥T/2) rand const (otherwise)
(6)
周期性2:
r min(t)=
−1×rand const (t≤T/2) 0.5×rand const (otherwise) r max(t)=
−0.5×rand const (t≤T/2) rand const (otherwise)
上述の
6
特性はそれぞれ, 500
個中から重複を許さずランダムに取得された20
個のデータに適 用され,
合計120
個の特性を持つデータから,
ランダムに選ばれた1
つを後述するタスクにおけ る探索対象とする.
探索対象となるオブジェクトと同じ特性を適用して生成されたデータに対応 するオブジェクトが,
各タスクにおける類似オブジェクト(
正解)
となる.
各特性に対応するデー タの散布図・詳細ビューにおける可視化結果を図33
に示す.
図において,
それぞれの軌跡や線グ ラフは(1)
増加傾向(2)
減少傾向(3)
稲妻形1 (4)
稲妻形2 (5)
周期性1 (6)
周期性2
に対応する.
(5)(6)
では,
時系列データ全体を1
周期として,
周期性を表現している.
また
,
外れ値のような実データに存在する特性を人工データセットにも導入するために,
上述の 特性を付与したデータ以外の,
重複を許さずにランダムに選択した20
データごとに,
次のような 特性を付与した.
(a) 散布図 (b) X, Y座標の変化
(1) (1)
(1)
(2) (2)
(2)
(3) (4) (3)
(4)
(5)
(6) (6)
(5)
(6)
(3) (4)
(5)
図
33.
人工データで特性を付与した類似性の比較対象(a)
散布図ビュー(b)
詳細ビュー• 変化大
:
r min(t)=−2×rand const r max(t)=2×rand const
• 変化小
:
r min(t)=−√
rand const r max(t)= √
rand const
• 外れ値
:
r min(t)=
−5×rand const (rand(−1,1)<0.05)
−1×rand const (otherwise) r max(t)=
−5×rand const (rand(−1,1)<0.05) rand const (otherwise)
上述の手順から得られたデータセットに対して
,
主成分分析を適用した.
投影結果の一貫性や,
軌跡の形状にデータの時間的特性が現れるようにするため,
初期時点t=0
に主成分分析を適用し た結果として得られた主成分ベクトルω0mを,
他時点にも適用する.
得られたパラメータωに基づき
, 3.6
節で示した手法でオブジェクトの座標を決定した.
また,
探索タスクではオブジェクト分布の傾向は時点間で一貫しているほうが望ましいため
,
全時点t=0
,1
, ...,T における全データ 内の最大値と最小値を用いて,
各オブジェクトの属性値が全期間内で[0
,1]
に収まるように正規 化した.
探索タスクにおいて
,
同一の特性を持つデータを複数回探索した場合,
実験協力者の慣れが結果 に影響すると考える.
実験協力者には,
回答する必要のある類似オブジェクト数が異なる4
つの 設問を行ってもらう.
設問ごとに異なるデータセットを用いるために,
データセットを後述する提案・比較インタフェースごとに
10
種類作成し,
その内ランダムに選択した4
つを各設問に割り当 てた.
6.3.2
実験協力者評価実験
1
の協力者は, 20
代から30
代の理系大学生および大学院生18
名である.
実験協力者 は,
データ分析および視覚的分析に関する最低限の知識があることを基準として協力を依頼した.
実験終了後にアンケートによりデータ分析や視覚的分析に関する知識レベルを,
複数回答を許可 して取得した.
回答の集計結果を表8
に示す.
「全くない」と回答した実験協力者は0
名であり,
多くの協力者は「情報工学,
情報科学に関連する学科に在籍している」と回答している.
さらに,
「データ分析や機械学習に関連する研究をしている/実務経験がある」と回答した協力者も
8
名存 在し,
全体的なデータ分析や情報化視覚的分析に関する知識レベルは高いといえる.
そのため,
基 礎的なデータ分析能力を要する探索タスクにおいて,
実験協力者はタスクの実行能力を十分備え ていると考える.
表
8.
実験協力者のデータ分析および情報視覚的分析に関する知識レベル(
評価実験1)
知識レベル 人数
全くない 0
話を聞いたことがある/ニュース記事などを見たことがある 9 関連する講義や演習を受けたことがある/勉強会に参加したことがある 8 情報工学,情報科学に関連する学科に在籍している/専攻している 12 視覚的分析インタフェースを用いたデータ分析の経験がある 8 次元削減を用いた多次元データ分析の経験もしくは学習経験がある 6 データ分析や機械学習に関連する研究をしている/実務経験がある 8
6.3.3
比較インタフェース本実験では
,
プロトタイプインタフェース(EPL)
における,
複数の可視化手法の組み合わせに関 する有効性を検証する.
そのため,
比較対象となる比較インタフェースとして以下の2
つを実装 した.
•
EBL1:
ノード・軌跡を用いてデータを可視化する(
提案インタフェースの凸包に関する機能を除去
)
•
EBL2:
ノード・凸包を用いてデータを可視化する(
提案インタフェースの軌跡に関する機能を除去
)
習熟コストの抑制や機能単位の比較のため
, 4
章で示したプロトタイプインタフェースの一部 の機能を無効化したものを比較インタフェースとしている.
表9
に,
評価実験1
における実験用イ ンタフェースにおいて有効化されている機能の一覧と,
ベースラインインタフェースとの相違点 を示す.
表9
に記載されていない散布図ビューや詳細ビューにおける機能は,
全てのインタフェー スで有効化されている.
実験結果を詳細に考察するため,
表9
で有効化されている全ての機能について
,
実行回数や対象のオブジェクト数,
各オブジェクトのインデックスなどのインタラクション ログを記録した.
6.3.4
実験手順評価実験は
,
以下の手順で実施した,
実験全体の所要時間は1
時間半から2
時間程度を想定した. 1.
チュートリアル(15
分程度)
2.
提案インタフェースと比較インタフェース(2
種類)
に関する実験(
各20-30
分程度) 3.
アンケート回答(10
分程度)
実験協力者は提案インタフェース
(EPL)
と2
つのベースラインインタフェース(EBL1, EBL2)
について,
探索タスクを実施する.
インタフェースへの習熟や順序効果を考慮して,
表10
のよう な実験計画を作成した. 18
名の実験協力者を3
名ずつに分割し, 6
名ごとの協力者のグループに 対して表10
に示す実験系列を割り当てた.
表
9.
評価実験1
におけるインタフェースごとの搭載機能インタラクション内容 説明箇所 有効化の有無
EPL EBL1 EBL2
散布図ビュー 4.5 ○ ○ ○
詳細ビュー 4.6 ○ ○ ○
軌跡の表示と操作 4.7.2 ○ ○ × 凸包の表示と操作 4.7.3 ○ × ○ 凸包(軌跡の複数選択) 4.7.2 ○ × × パラメータ調整 4.8 × × × 再生/静止モードの変更 4.9.1 ○ ○ ○ 操作対象の変更 4.9.2 × × × ラベリング 4.9.3 × × × 軌跡エディタ 4.9.4 × × × オブジェクトの削除 4.9.5 × × × オブジェクトの検索 4.9.6 × × × 探索履歴の可視化 4.10 × × ×
6.3.5
探索タスク探索タスクでは
,
実験協力者は指定された対象と類似したオブジェクトを探索し,
詳細ビューに 表示された類似オブジェクトのID
を回答としてフォームに記入する.
探索タスクは,
表11
に示 す4
つの設問から構成される.
実行順序が結果に与える影響を抑制するため,
各設問はランダムな 順序で実験協力者に提示される.
6.3.6
アンケート実験終了後に
,
提案/ベースラインインタフェースのデータ探索における有効性に関するアン ケートに回答してもらった.
一部の質問に関しては,
その理由を任意回答で記述してもらった.
ア表
10.
探索タスクにおける実験順序の割り当て番号 実行するインタフェース
1回目 2回目 3回目
1 EBL1 EBL2 EPL
2 EBL1 EPL EBL2
3 EBL2 EBL1 EPL
4 EBL2 EPL EBL1
5 EPL EBL1 EBL2
6 EPL EBL2 EBL1
表
11.
探索タスク一覧番号 設問内容
#1 類似オブジェクトを1個発見してください
#2 類似オブジェクトを3個発見してください
#3 類似オブジェクトを5個発見してください
#4 類似オブジェクトを10個発見してください
ンケートの各質問と
,
その回答形式を表12
に示す.
表において,
番号にアスタリスクがついてい る質問は回答を必須とした.
回答形式が 選択”
に該当する質問では, 5
段階リッカート尺度によ りインタフェースの各機能を評価してもらった.
複数選択”
に該当する質問では,
提示された回 答の候補から複数選択してもらった.
また,
理由の項目に○がある質問では,
回答理由を任意で自 由記述してもらった.
表
12.
評価実験1
における実験後アンケートの質問一覧番号 質問内容 形式 理由
1* 実験IDを入力してください. 記述
-2* 年齢を教えてください. 記述
-3* 性別を教えてください. 選択
-4* データ分析,機械学習に関する知識レベルとして,以下から該当する ものを選択してください.
複数選択
-5* 提案インタフェースは時系列データの分析の役に立ちましたか. 選択 ○ 6* 提案インタフェースは比較対象インタフェースと比べて分析の役に
立ちましたか.
選択 ○
7* 軌跡表現を用いた可視化はわかりやすかったですか. 選択 -8* 凸包を用いた可視化はわかりやすかったですか. 選択 -9* 提案インタフェースにおいて,軌跡表現が役に立った,もしくは軌跡
表現を中心に探索を行ったタスクを,以下から選択してください.
複数選択
-10* 提案インタフェースにおいて,凸包が役に立った,もしくは凸包を中 心に探索を行ったタスクを,以下から選択してください.
複数選択
-11* 提案インタフェースにおける,凸包/軌跡などの可視化手法の組み合わ せに関する使いやすさを評価してください.
選択 ○
12* 提案インタフェースの全体的な可視化やユーザインタフェースの使 いやすさを評価してください.
選択 ○
13 提案インタフェースに搭載してほしい機能,改善すべき点がありまし たら,回答してください.
記述
-14 その他,実験を通した感想やコメントがありましたら,回答してくだ さい.
記述