© Hitachi, Ltd. 2013. All rights reserved. ソフトウェアテストシンポジウム2013東京 2013年1月30日(水)～31日(木) 株式会社 日立製作所 ＩＴプラットフォーム事業本部 プラットフォームＱＡ本部 ソフト品質保証部 河野 哲也 TAN LIPTONG 岩本 善行 ソフトウェア本部 生産技術部 白井 明 居駒 幹夫
ユーザビリティ評価方法の
実践的拡張および適用
© Hitachi, Ltd. 2013. All rights reserved. 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 0.00 50.00 100.00 150.00 200.00 250.00 300.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均(秒) 1 ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動
© Hitachi, Ltd. 2013. All rights reserved.
▶ 導入：適用例(適用１)
▶ ＮＥＭの拡張
▶ 評価の流れとポイント
▶ 追加適用例(適用２)
▶ 考察と今後の展望
発表の流れ
2 (Novice Expert ratio Method)© Hitachi, Ltd. 2013. All rights reserved.
ＮＥＭの概要とポイント
3
l NEM： Novice Expert ratio Method
ユーザと開発者のギャップに関わる問題を
操作時間の比較によって明らかにする方法
[1] u ユーザ(Novice)と開発者(Expert)が評価者となり 評価対象を指定のシナリオに従い操作する u ユーザの各シナリオの平均操作時間と 開発者の各シナリオの平均操作時間との比(NE比)を表す n 平均操作時間を折れ線グラフで表現し、NE比を棒グラフで表現l ポイント
u ユーザビリティの評価者はユーザと開発者とする u ユーザと開発者の平均操作時間をNE比として比較する n 実際にはシナリオに滞在している時間なので以降、滞在時間と呼ぶ u NE比が大きいシナリオには何らかの問題があると仮定し 分析を進める(Novice Expert ratio Method)
[1]鱗原晴彦 他(1999)：設計者と初心者ユーザの 操作時間比較によるユーザビリティ評価手法, ヒューマンインタフェースシンポジウム'99.
© Hitachi, Ltd. 2013. All rights reserved.
ＮＥＭの拡張
4l ユーザビリティの評価者は
ユーザ
と
開発者
とする
u Novice(素人)とExpert(玄人)の元々の意味を考えると 必ずしもユーザと開発者である必要はない n 一般ユーザを招集するのは制約が大きい問題がある u Noviceを担当製品以外のQA技術者(非熟練者)とし Expertを担当製品のQA技術者(熟練者)とすることで テスト・品質保証部門内で適用可能とするl
平均滞在時間
をNE比として比較する
u 同じ平均滞在時間でもばらつきの大小があり ばらつきの大きい場合は問題の可能性がある u 平均滞在時間のみではなく、 滞在時間のばらつきについても分析できるようにするために 箱ひげ図でばらつきを表現する© Hitachi, Ltd. 2013. All rights reserved.
箱ひげ図
5 0.00 100.00 200.00 300.00 400.00 500.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ Ａ⽒氏 Ｂ⽒氏 Ｃ⽒氏 Ｄ⽒氏 0 50 100 150 200 250 300 350 400 450 500 550 ① ②③ ④ ⑤ ⑥⑦ ⑧ 0 50 100 150 200 250 300 350 400 450 500 550 ① ②③ ④ ⑤ ⑥⑦ ⑧ 0.00 100.00 200.00 300.00 400.00 500.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ E⽒氏 F⽒氏 G⽒氏 H⽒氏 ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動 ログイン 初期設定 追加設定 セット アップ 設定 環境 設定 起動 熟練者 非熟練者 熟練者 非熟練者 ログ イン 初期設定 追加 設定 セット アップ 設定 環境 設定 起動 ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動© Hitachi, Ltd. 2013. All rights reserved.
ＮＥ比と箱ひげ図のセットで分析
6 0 50 100 150 200 250 300 350 400 450 500 550 ① ②③ ④ ⑤ ⑥⑦ ⑧ 熟練者 0 50 100 150 200 250 300 350 400 450 500 550 ① ②③ ④ ⑤ ⑥⑦ ⑧ 非熟練者 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 0.00 50.00 100.00 150.00 200.00 250.00 300.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均(秒) ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動 ログ イン 初期設定 追加設定 セット アップ 設定 環境 設定 起動 ログ イン 初期設定 追加設定 セット アップ 設定 環境 設定 起動 (Novice Expert)© Hitachi, Ltd. 2013. All rights reserved.
▶ 導入：適用例(適用１)
▶ ＮＥＭの拡張
▶ 評価の流れとポイント
▶ 追加適用例(適用２)
▶ 考察と今後の展望
発表の流れ
7 (Novice Expert ratio Method)© Hitachi, Ltd. 2013. All rights reserved.
ＮＥＭによる評価の流れ
8 １）評価対象シナリオの選定 u 評価する一連の手続きを決める ２）滞在時間の計測単位の設定 u １）のシナリオを分けたりまとめたりし 時間の計測単位を決める ３）評価準備 u １）と２）に基づき操作手順書の作成や 操作課題の設定を行う ４）評価者の選定 u 熟練者と非熟練者を選定する n 可能なら開発者を熟練者に含める ５）評価実施 u 評価者は３）の課題や手順に従い操作する u 企画者は２）の単位に従い時間を計測する ６）評価結果の整理と分析 u ５）の評価結果をグラフ化する u 問題のあるシナリオを特定する ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動 0.00 100.00 200.00 300.00 400.00 500.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ E⽒氏 F⽒氏 G⽒氏 H⽒氏 ログ イン 初期設定 追加 設定 セット アップ 設定 環境 設定 起動 熟練者 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 0.00 50.00 100.00 150.00 200.00 250.00 300.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均(秒) ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動 0 50 100 150 200 250 300 350 400 450 500 550 ① ②③ ④ ⑤ ⑥⑦ ⑧ 熟練者 ログ イン 初期 設定 追加設定 セット アップ 設定 環境 設定 起動 0 50 100 150 200 250 300 350 400 450 500 550 ① ②③ ④ ⑤ ⑥⑦ ⑧ 非熟練者 ログ イン 初期設定 追加 設定 セット アップ 設定 環境 設定 起動 0.00 100.00 200.00 300.00 400.00 500.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ Ａ⽒氏 Ｂ⽒氏 Ｃ⽒氏 Ｄ⽒氏 ログ イン 初期設定 追加 設定 セット アップ 設定 環境 設定 起動 非熟練者 (Novice Expert ratio Method)© Hitachi, Ltd. 2013. All rights reserved.
評価を進める上でのポイント
9 １）評価対象シナリオの選定 u 評価する一連の手続きを決める ２）滞在時間の計測単位の設定 u １）のシナリオを分けたりまとめたりし 時間の計測単位を決める ３）評価準備 u １）と２）に基づき操作手順書の作成や 操作課題の設定を行う ４）評価者の選定 u 熟練者と非熟練者を選定する n 可能なら開発者を熟練者に含める ５）評価実施 u 評価者は３）の課題や手順に従い操作する u 企画者は２）の単位に従い時間を計測する ６）評価結果の整理と分析 u ５）の評価結果をグラフ化する u 問題のあるシナリオを特定する ► ユーザビリティ評価の目的を 事前に決めておく ► シナリオの中に評価したい画面 や手続きを含めるようにする ► 予備評価を必ず行い以下を調査 する(2名程度で実施) ü 評価者はどの程度の熟練具合が 適切かを把握する ü 計測単位と手順・課題が適切か 確認する ► 評価者の邪魔にならない 程度に操作を観察する (問題の大半は見ていれば 分かる) ► 指定手順で実施しているか を確認する© Hitachi, Ltd. 2013. All rights reserved.
評価の流れ-ＰＦＤ
[2]による記述
10 評価 シナリオ 選定 計測 単位 設定 評価 準備 評価者 選定 評価 実施 結果 整理 ・分析 現開発 ・次期 開発 分節後の シナリオ シナリオ 評価手順 ・課題 評価者 のスキル 製品仕様 評価対象 製品 企画 評価者 評価 対象 ＱＡメンバ 評価 データ 分析結果 （問題点・ グラフ） 想定 ユーザ[2]Process Flow Diagramの略、詳細はPFDの書き方（第３版） (http://homepage3.nifty.com/koha_hp/process/PFDform3.pdf)
© Hitachi, Ltd. 2013. All rights reserved.
ポイント
を含む評価の流れ
11 評価 シナリオ 選定 計測 単位 設定 評価 準備 評価者 選定 評価 実施 結果 整理 ・分析 現開発 ・次期 開発 分節後の シナリオ シナリオ 評価手順 ・課題 評価者 のスキル 製品仕様 評価対象 製品 企画 評 価 目 的 評価者 評価 対象 ＱＡメンバ 評価 データ 分析結果 （問題点・ グラフ） 想定 ユーザ 予備 評価 ＱＡメンバ 評価目的 観察 結果© Hitachi, Ltd. 2013. All rights reserved.
▶ 導入：適用例(適用１)
▶ ＮＥＭの拡張
▶ 評価の流れとポイント
▶ 追加適用例(適用２)
▶ 考察と今後の展望
発表の流れ
12 (Novice Expert ratio Method)© Hitachi, Ltd. 2013. All rights reserved.
適用の概要
13l 適用対象プロファイル
u ストレージ管理ソフトウェア n 適用１の製品よりユーザビリティに配慮した製品 u 製品コンセプト n マニュアルなし、初心者でも使用可能 – ただし、初心者といっても一定の専門知識が必要l 評価概要
u 評価対象シナリオ概要 n 任意のボリュームをホストへ割り当てる u 操作ログが収集可能であったため、潜在時間はログで確認l 仮説
u 直感的には適用２の製品の方がユーザビリティが良いので 適用１よりは適用２の方がＮＥ比が小さいはず© Hitachi, Ltd. 2013. All rights reserved.
２つの適用の比較：仮説の検証
14 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 0.00 50.00 100.00 150.00 200.00 250.00 300.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均(秒) 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 00:00 00:17 00:35 00:52 01:09 01:26 01:44 02:01 02:18 1 2 3 4 5 NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均（秒) 適用２ 適用１ l 仮説の通り適用２の方が圧倒的にＮＥ比が小さい u 時間での比較は意味が無く、ＮＥ比というデータだから比較ができる l 本結果はＮＥＭという評価方法の妥当性を確認しているようにも見える ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動 ログイン 初期設定 プール 作成 作成V ol. 割当V ol.© Hitachi, Ltd. 2013. All rights reserved.
適用結果：ＮＥ比
15 0.00 0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60 1.80 00:00 00:17 00:35 00:52 01:09 01:26 01:44 02:01 02:18 1 2 3 4 5 NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均（秒) ログ イン 初期 設定 プール 作成 作成V ol. 割当V ol. (Novice Expert)© Hitachi, Ltd. 2013. All rights reserved.
適用２のＮＥ比とばらつき
16 0.00 0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60 1.80 00:00 00:17 00:35 00:52 01:09 01:26 01:44 02:01 02:18 1 2 3 4 5 NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均（秒) 00:00 00:43 01:26 02:10 02:53 03:36 04:19 1 2 3 4 5 00:00 00:43 01:26 02:10 02:53 03:36 04:19 1 2 3 4 5 熟練者 非熟練者 ログ イン 初期 設定 プール 作成 作成V ol. 割当V ol. ログ イン 初期 設定 プール作成 作成V ol. 割当V ol. ログイン 初期設定 作成プール 作成V ol. 割当V ol.
© Hitachi, Ltd. 2013. All rights reserved.
▶ 導入：適用例(適用１)
▶ ＮＥＭの拡張
▶ 評価の流れとポイント
▶ 追加適用例(適用２)
▶ 考察と今後の展望
発表の流れ
17 (Novice Expert ratio Method)© Hitachi, Ltd. 2013. All rights reserved.
考察
18l 本提案のサマリ
u 熟練者・非熟練者を評価者とする u 平均滞在時間とNE比、ばらつきをグラフで表現する u ユーザビリティに関する問題を分析するl どのような問題を対象としているのか?
u 表示文言やメッセージが本来の意味とが乖離している u 画面の整合性が悪く指定されたボタンが見つからない n 問題がありそうな画面・メッセージや手続きは分かるが 具体的な問題を特定するには多岐にわたる検討が必要l 何を評価しているのか？
手順書 ・課題 評価者 評価 対象 理解 理解 操作© Hitachi, Ltd. 2013. All rights reserved.
今後の展望：ＮＥＭの枠組みの利用
19l ＮＥＭは使用性のうち主に理解性と運用性の一側面を
評価している
u 時間そのもののではなく、NE比で評価l 広範な評価対象にＮＥＭの枠組みを利用する
u テスト対象のみではなくマニュアルを含めてＮＥＭで評価する n テスト対象を理解した評価者であればマニュアルの評価にも使えるl 習熟性にＮＥＭの
枠組みを利用する
u 非熟練者の一回目と 二回目の操作時間を 比較する 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 0.00 50.00 100.00 150.00 200.00 250.00 300.00 ① ②③ ④ ⑤ ⑥⑦ ⑧ NE⽐比(倍) ⾮非熟練者平均(秒) 熟練者平均(秒) ログ イン 初期 設定 追加 設定 セット アップ 設定 環境 設定 起動© Hitachi, Ltd. 2013. All rights reserved.
今後の展望：品質保証部の役割
20 l この種の製品はこれくらいのNE比であるという 基礎的なデータを収集・蓄積する u 将来のユーザビリティ評価に役立てる l 評価の目的に沿って評価対象の膨大なシナリオの中から 適切なシナリオを選定する u ユーザビリティの問題につながりそうなシナリオを組み込む n 不具合ではないものの、顧客クレームに繋がりそうな分かりにくい画面や 理解しにくいメッセージなどが含まれるシナリオを優先的に選び評価する u 共通的に利用される基本シナリオを評価する n 問題がないことを前提として、品質評価という位置づけで評価を行うl ゴール：ユーザビリティに関わる品質にさらに貢献する
u ユーザビリティの検討は開発やデザイン専門部門で 進めることが多い n 日立ではＵＸ作り込みの専任部署でユーザビリティを強化している© Hitachi, Ltd. 2013. All rights reserved.
まとめ：ＮＥＭの実践的拡張と実適用
21l ＮＥＭの拡張
u ＮＥＭの一連の流れを示した u ＮＥＭの拡張を行った：熟練者/非熟練者、箱ひげ図l ＮＥＭの適用
u ２つの適用を示し、適用結果を比較した n 適用１ではNE比が著しく悪いシナリオを特定し問題を把握した u ユーザビリティに配慮した製品の方がNE比が小さいことを 確認したl 考察と今後の展望を示した
u ＮＥＭの考え方を他の評価への拡張可能性の検討を行った u ＮＥＭ適用を進める上で品質保証部としての役割を整理した© Hitachi, Ltd. 2013. All rights reserved. ユーザビリティ評価方法の実践的拡張および適用 ソフトウェアテストシンポジウム2013東京 株式会社 日立製作所 河野 哲也
