第 9 章 本手法の評価
9.2 ユーザビリティ評価
9.2.2 問題内容の明確化
42
Non-parametric検定
表9.3、表9.4より熟練者ユーザ、初心者ユーザのデータにおいてどちらかで
も正規性が見られなかった場合、Wilcoxon rank sum test[17][18]の実施によっ てデータを分析する。Wilcoxon rank sum testの結果を表9.7に示す。
表 9.7 Wilcoxon rank sum testを実施した結果
ステップ スクロール シングルタップ ダブルタップ 戻る 操作時間
step1 ○
step2 ○
step3 ○
step4 ○
step5 ○
step6 ○
step7 × ○
step8
step9 ○ ×
step10 × × ×
step11 ×
step12 × ×
step13 ○ × ×
step14
step15 × × ×
step16 × ×
(○：有意差あり、×：有意差なし)
43
表 9.8 Nielsen10箇条と問題箇所との対応結果 ステップ Nilsen10箇条との対応
step1 ①②④⑤⑦⑧
step2 ②⑥⑩
step3 ②⑤⑥
step4 ②⑤⑥
step5 ①②④⑤⑥⑦⑧⑩
step6 ①②④⑤⑥⑦⑧
step7 ①②④⑤⑦⑧
step9 ②⑥⑩
step13 ②⑥⑩
図 9.2 ステップにおける問題内容の提示例
44
本システムによってユーザの操作履歴を基に問題視されるステップ、そのス テップに存在する問題内容を9ステップに計42項目抽出できた。しかしステッ プの操作内容がステップ1～7に類似しているステップ9～15からは問題内容が ほぼ発見できなかった。問題内容の抽出によって修正箇所の発見を容易にし、
ユーザビリティを向上させることができる。
ユーザテスト後、初心者ユーザにアンケートを取ることでその Android アプ リケーションの問題点に関する意見を求めた。アンケートでは、どのステップ を操作する際、どのような問題があったかどうかということを調査している。
このアンケートの結果と本手法の結果とを比較することで本研究の有効性を評 価する。アンケートによる問題箇所、問題内容の結果を表9.9に示す。アンケー トによる問題内容が Nielsen10 箇条のどの項目に対応しているのかが明確にな っていなければ本手法との比較ができない。そのためそれぞれの問題内容が含 まれる項目をNielsen10箇条と対応させている。さらに表9.9を表9.8と同様な 表示にした結果を表9.10に示す。
表 9.9 アンケートによる問題箇所、問題内容
問題箇所（ステップ） 問題内容 Nielsen10箇条
step2 step10 入力項目が小さい ②⑥
step1 step9 GUIオブジェクトが直観的に理解困難 ②⑥
step4 step8 step16
操作方法に一貫性がない ③⑤ step4 step5
step7 step12
操作状況が理解困難 ①⑤⑥ step1 step3
step9
デザインかボタンかわからない ①⑤⑥ step1 step5
step9
無駄なGUIオブジェクトが存在 ④⑧
Step6 step8 文章表現が多い ⑧
step4 step5 ヘルプ、マニュアルが必要 ⑨⑩
step5 step13 文章表現がわかりづらい ②⑧
step5 画面の変化がわからない ①③
Step6 step7 step14 step15
スクロール操作できる箇所が不明確 ①
45
表 9.10 Nielsen10箇条と問題箇所との対応結果（アンケート）
ステップ Nilsen10箇条との対応
step1 ①②④⑤⑥⑧
step2 ②⑤⑥⑩
step3 ①②⑤⑥
step4 ①②④⑤⑥⑨⑩
step5 ①②③④⑤⑥⑧⑨⑩
step6 ①②④⑤⑥⑧
step7 ①②④⑤⑥⑧
Step8 ③⑤⑧
Step9 ①②⑤⑥
Step10 ④⑥
Step11
Step12 ①⑤⑥
Step13 ①②⑤⑥⑧
Step14 ①
Step15 ①
Step16 ④⑤
表 9.10 よりユーザはステップ 11 以外全てのステップにおいて問題点の存在 を感じる結果となった。問題内容は15 ステップ中に計50 項目という結果にな った。しかし、前述の通り今回のユーザテストではステップ1～7とステップ9
～15 は類似した内容に設定してある。そのため前半のステップ 1～7 に含まれ た問題内容の一部がステップ9～15に含まれていた。
46
第 10 章 考察
表9.8と表9.10よりユーザがAndroidアプリケーションを操作した結果、主 観的に感じたユーザビリティ上の問題を本手法によって明らかにすることがで きているのか評価する。また、ユーザには認識されていない潜在的な問題内容、
本手法では抽出できなかった問題内容に関して確認する。また、今回ステップ9
～15はステップ1～7に類似しているためステップ9～15を含めない 9ステッ プ（ステップ1～8、16）の操作内容が異なっている状態の結果も比較対象とし た。本手法による問題内容の発見数とアンケートによる問題内容の発見数の比 較表をステップ9～15あり、なしでそれぞれ表10.1、表10.2に示す。
表 10.1 16ステップにおける結果 発見数 本手法
のみ
アンケート のみ
本手法&
アンケート
本手法 42 6
アンケート 63 27
全体 69 36
表 10.2 ステップ9～15抜きの結果 発見数 本手法
のみ
アンケート のみ
本手法&
アンケート
本手法 36 4
アンケート 47 15
全体 51 32
まず表10.1では本手法よりもアンケートの方が問題内容を抽出することがで きている。しかし類似した操作内容であるステップを排除した表10.2では本手 法の方が問題内容を多く抽出することができた。これは本手法が操作履歴を基 にユーザビリティ評価を行っているため、ユーザのアプリケーション操作の慣 れが関係していることが考えられる。よって異なった操作内容のステップを設
47
定した上で本手法を利用することでより多くの問題内容を発見できると考えら れる。
また、表10.1より本手法は本手法とアンケートの共通項目を除いた全体の問 題内容69項目のうち42項目を発見し、約60%を満たすことができた。一方、
表 10.2 では本手法とアンケートの共通項目を除いた全体の問題内容 51 項目の うち36項目を発見し、約70%を満たした。よってステップ設定時に異なった操 作内容にすることで本手法の精度も向上することが分かった。
表10.2より本手法はアンケートで発見された問題内容の結果と約63%一致し た。本手法でのみ発見されたユーザが操作した結果感じることができなかった 潜在的な問題は約8%発見することができた。しかし本手法は1つの評価項目に
つきNielsenの10箇条[7]のうち複数項目を対応させているために余分な結果が
抽出された。今回の例としては本手法のみ抽出された項目「⑦使用の柔軟性と 効率」である。対象アプリケーションは初心者ユーザと熟練者ユーザで異なっ た操作を設定していないにもかかわらず項目⑦も本手法では抽出されてしまっ た。
一方、本手法はアンケートによってのみ発見されたユーザが主観的に問題あ りと感じた内容に関しては約 29%満たすことができなかった。ユーザビリティ の向上にはユーザの満足度向上が密接に関係しているためユーザの主観的な結 果を満たした上で潜在的な問題内容を見つけ出せるようにできるようにしなけ ればならないだろう。
アンケートのみ発見することができた問題内容を本手法でも発見できるよう に改善するためには大規模なアプリケーションにおける本手法の利用結果が多 く必要である。大規模なアプリケーションで操作履歴を取得し、ユーザ操作の なんらかのアルゴリズム（例：シングルタップとスクロールの利用頻度になん らかの関係性があるかを考える、複数のアクションの決まった組み合わせによ ってユーザ操作のミスを明確にするなど）を分析し、Nielsenの10箇条の項目 を対応させることで余計な結果を減らすことができるだろう。さらに、アンケ ートによって多くのユーザが主観的に感じやすい問題内容をNielsenの10箇条 の他に例外として設定しておく。その結果、アンケートのみの発見も減らすこ とができるだろう。
48
第 11 章 おわりに
本研究では、タブレットに着目し、実行されたインターネットに依存しない
Androidアプリケーションのユーザビリティ評価を行い、UIデザインのユーザ
ビリティを向上するための問題箇所とNielsenのヒューリスティクス10箇条に 照らし合わせることで問題内容を自動で抽出する支援手法を提案した。
その結果、ユーザテストで設定するタスクをより細かくステップとして分割 することで各評価項目におけるより詳細な Android アプリケーションの問題箇 所、問題内容を具体的に抽出することができた。さらに評価者が大量のユーザ テスト結果を分析するための時間、労力などを削減することができた。しかし、
ユーザが主観的に感じる問題内容を全て発見することができなかったため、ユ ーザの操作のアルゴリズムを分析し、新たな手法を考案するためにいくつかの 課題が残る。
本研究における今後の課題は以下の通りである。
(1) Web アプリケーション、ネイティブアプリケーションの同様な手法による ユーザビリティ評価
(2) 大規模なAndroidアプリケーションでの本手法の実施
49
謝辞
本研究を勧めるに当たり、御助言、御助力を頂いた早稲田大学基幹理工学研 究科情報理工・情報通信専攻の深澤良彰教授に深く感謝致します。また、2年間 に渡るご指導をして頂いた東京女子大学現代教養学部人間科学科の白銀純子准 教授、神奈川工科大学情報学部情報ネットワーク・コミュニケーション学科の 岩田一助教に深く感謝致します。
50
参考文献
[1] Android and iOS Squeeze the Competition, Swelling to 96.3% of the Smartphone Operating System Market for Both 4Q14 and CY14
http://www.idc.com/getdoc.jsp?containerId=prUS25450615
[2] Worldwide Tablet Growth Expected to Slow to 7.2% in 2014 Along With First Year of iPad Decline
http://www.idc.com/getdoc.jsp?containerId=prUS25267314
[3] Who’s Winning, iOS or Android? All the Numbers, All in One Place http://techland.time.com/2013/04/16/ios-vs-android/
[4] Nahumi Nugrahaningsih, Marco Porta, Stefania Ricotti, “Gaze Behavior Analysis in Multiple-Answer Tests: an Eye Tracking Investigation”, Proc.
of Information Technology Based Higher Education and Training , 2013.
[5] M´arcio V. Figueira, M.Sc., Dario F.G. de Azevedo, Ph.D., Thais Russomano, Ph.D., Ramon F. Lilienthal, “Evaluation Tests for Eye Tracking Systems”, Proc. of Engineering in Medicine and Biology Society, 2008.
[6] 黒須正明編著,“ユーザビリティテスティング ユーザ中心のものづくりに向 けて”, 共立出版, 2003.
[7] キャロル・M・バーナム著, 黒須正明監訳, 牧野祐子訳,“実践ユーザビリティ テスティング 「利用品質」を忘れていませんか”, 翔泳社, 2007.
[8] ユーザインタフェース(UI)デザインとは http://usabilitytest.alco.co.jp/
[9] Normality Tests – StatesDirect
http://www.statsdirect.com/help/default.htm#parametric_methods/norm ality.html